Resumo Técnico: ACL-Verbatim

Declaração do Problema

Pesquisadores acadêmicos necessitam de métodos eficientes e confiáveis para extrair informações de alta qualidade de fontes confiáveis. No entanto, as ferramentas atuais de pesquisa assistida por IA que dependem de Modelos de Linguagem de Grande Escala (LLMs) sofrem com "alucinações" — a tendência de produzir saída factualmente imprecisa, irrelevante ou sem sentido. Embora os sistemas de Geração Aumentada por Recuperação (RAG) tentem fundamentar os LLMs em documentos externos, eles frequentemente falham em eliminar alucinações porque o componente generativo pode substituir evidências recuperadas por seu próprio conhecimento prévio. Além disso, as respostas geradas por LLMs carecem de transparência e explicabilidade, tornando a verificação de fatos independente tediosa e frequentemente omitida devido ao "apreciação algorítmica". O desafio central é permitir a resposta a perguntas a partir de artigos de pesquisa que seja estritamente literal, garantindo que as respostas sejam diretamente rastreáveis ao texto fonte sem fabricação.

Metodologia

O artigo apresenta ACL-Verbatim, uma aplicação do framework VerbatimRAG adaptada para a ACL Anthology. Diferentemente do RAG generativo, este sistema emprega uma abordagem extrativa, mapeando consultas de usuários diretamente para trechos de texto literais em documentos recuperados.

Corpus e Pipeline de Dados

1. Coleta de Dados: O sistema processa mais de 120.000 artigos da ACL Anthology (a partir de fevereiro de 2026). Os PDFs são convertidos para Markdown usando a biblioteca docling, preservando cabeçalhos, listas e tabelas, enquanto substituem figuras por espaços reservados.
2. Segmentação: Uma estratégia personalizada de chunking segmenta os artigos ao longo dos limites de seção, prefixando os chunks com títulos de seção para melhorar a recuperação. Os chunks são restritos entre 500 e 5.000 caracteres e indexados para busca de texto completo e de vetores densos usando o granite-embedding-english-r2 da IBM.
3. Geração de Consultas: Para criar um conjunto de dados de treinamento e avaliação, os autores adaptaram a metodologia ScIRGen. O pipeline:
   • Seleciona artigos e chunks aleatórios.
   • Usa um LLM para gerar tipos de perguntas sintéticas e perguntas com base no conteúdo do chunk.
   • Refina essas consultas em consultas mais curtas e fragmentadas, características do comportamento real de usuários.
4. Anotação: Anotadores humanos (pesquisadores de PLN) rotulam os 5 chunks recuperados superiores para cada consulta. Eles primeiro determinam a relevância binária. Para chunks relevantes, destacam trechos de texto específicos (tokens) que constituem a evidência. Este processo resultou em um conjunto de dados de verdade fundamental de 100 pares consulta-chunk (20 consultas, 5 chunks cada).

Arquitetura do Modelo e Treinamento

Os autores avaliam três famílias de sistemas extrativos:

1. Extratores de Trechos Baseados em LLM: Modelos zero-shot (Mistral, Nemotron, GLM, Qwen) instruídos a retornar trechos literais.
2. Baselines de Poda/Destaque: Modelos como Zilliz Semantic Highlight e Provence que pontuam ou podam sentenças.
3. Modelo Estudante Compacto: Um classificador de tokens ModernBERT personalizado (150M de parâmetros) treinado em "supervisão prateada".
   • Supervisão Prateada: Gerada executando o pipeline de consulta sintética em um corpus maior (2.000 artigos) e usando um LLM forte (Qwen 3.6 35B) para gerar os rótulos de extração.
   • Arquitetura: Um classificador de tokens condicionado à consulta sobre uma janela de contexto de 8192 tokens, emitindo rótulos binários para cada token.
   • Treinamento: Ajustado fino em ~10k linhas positivas e ~11k linhas negativas com regras específicas de pós-processamento (descartando trechos <10 caracteres, mesclando trechos próximos).

Contribuições Principais

• Conjunto de Dados ACL-Verbatim: Um novo conjunto de dados de verdade fundamental mapeando consultas de usuários sintéticas para trechos de texto relevantes em artigos de pesquisa, anotados por especialistas do domínio.
• Pipeline de Extração: Um sistema ponta a ponta para gerar consultas sintéticas e realizar anotação manual para QA extrativa no domínio acadêmico.
• Desempenho Eficiente do Modelo: Demonstração de que um modelo codificador compacto e ajustado fino (ModernBERT) treinado em dados prateados supera significativamente LLMs muito maiores em tarefas de extração ao nível de palavra.

Resultados

A avaliação foi conduzida no benchmark de 100 pares consulta-chunk usando precisão, recall e F1 ao nível de palavra, bem como métricas de contenção e cobertura.

• Desempenho: O modelo estudante ModernBERT alcançou o maior F1 ao nível de palavra de 53,63, superando o extrator LLM mais forte (GLM-5 em 48,71) e outras baselines.
• Eficiência: O modelo estudante utiliza de 3 a 4 ordens de magnitude menos parâmetros do que os LLMs avaliados, enquanto alcança resultados superiores.
• Precisão vs. Recall: O modelo estudante demonstrou maior precisão (65,43%) em comparação com LLMs, frequentemente abstendo-se de prever trechos em chunks irrelevantes. Em contraste, os LLMs (especialmente com prompts orientados a parágrafos) alcançaram maior recall, mas precisão significativamente menor, extraindo frequentemente evidências de chunks irrelevantes.
• Generalização: Uma variante multi-domínio do modelo, treinada em uma combinação de dados da ACL e outros benchmarks (RAGBench, Squeez), também superou as baselines públicas no conjunto de ouro da ACL, sugerindo que a abordagem generaliza além do domínio específico.

Significado e Alegações

O artigo afirma que a abordagem VerbatimRAG, combinada com o treinamento orientado a tarefas de modelos extrativos, fornece um modelo para resposta a perguntas sem alucinações. Ao extrair estritamente trechos literais em vez de gerar novo texto, o sistema garante que as respostas sejam transparentes e diretamente verificáveis contra a fonte.

Os autores enfatizam que, embora o conjunto de dados atual seja pequeno (100 pares) e o processo de anotação seja complexo, os resultados indicam que modelos pequenos e especializados treinados em dados sintéticos podem superar LLMs zero-shot na tarefa crítica de extração de evidências. Isso oferece um caminho para implantar assistentes de pesquisa confiáveis, eficientes e dignos de confiança que mitigam os riscos de alucinação inerentes à IA generativa. Os autores notam limitações relacionadas ao tamanho do conjunto de dados e ao potencial de dados sintéticos propagarem vieses de LLM, sugerindo que trabalhos futuros devem focar em domínios mais estreitos para refinar diretrizes de anotação e reduzir o viés.