Resumo Técnico: Além da Fundamentação de Documentos

Definição do Problema

Sistemas de geração aumentada por recuperação (RAG) estão sendo implementados cada vez mais em ambientes estruturados além da linguagem natural, incluindo agentes de codificação, ferramentas para desenvolvedores e documentação de pesquisa. Embora os benchmarks e detectores de detecção de alucinação existentes foquem primariamente em evidências de documentos de linguagem natural, eles falham em abordar os desafios únicos de verificação impostos por entradas estruturadas, como código-fonte, saída de ferramentas (ex: logs de teste, saídas de comando) e documentos estruturados (ex: markdown, tabelas).

Nesses cenários estruturados, uma única substring não fundamentada — como o nome de um método fabricado, um valor de campo incorreto ou uma observação de ferramenta relatada erroneamente — pode alterar o comportamento de um programa ou induzir um usuário ao erro, mesmo que o restante da resposta esteja correto. Os frameworks de avaliação atuais carecem de uma formulação unificada em nível de span (extensão) que cubra código gerado, observações de ferramentas e documentos estruturados juntamente com as tarefas tradicionais de RAG de linguagem natural.

Metodologia

Construção de Benchmark Unificado

Os autores introduzem um benchmark unificado composto por 74.285 exemplos recém-construídos a partir de cinco fontes, suplementados por exemplos convertidos de datasets de RAG de linguagem natural existentes (RAGTruth e PsiloQA). As fontes incluem:

• Código: Derivado do SWE-bench, apresentando correções fundamentadas em repositórios.
• Saída de Ferramenta: Derivado do Squeez, contendo consultas e observações verbosas de ferramentas.
• Documentos Estruturados: Fragmentos de artigos da ACL, READMEs do GitHub e Wikipedia em markdown.
• Linguagem Natural: RAGTruth e PsiloQA (14 idiomas).

Pipeline de Construção de Dados:

1. Fundamentação (Grounding): Começa com uma resposta conhecida como correta e fundamentada derivada da fonte (ex: um patch "gold" do SWE-bench).
2. Injeção: Utiliza um modelo "injetor" específico da fonte (Gemma 4 31B para código; Qwen 3.6 35B para outros) para propor edições de substituição localizadas e estruturadas. Essas edições introduzem alucinações localizadas categorizadas como Contradição (lógica/valores errados), Adição Não Fundamentada (comportamento extra) ou Referência Fabricada (métodos/identificadores inventados).
3. Rotulagem de Span: Aplica as edições deterministicamente para extrair offsets exatos de caracteres para os spans alucinados, evitando a ambiguidade de fazer o diff entre respostas de linguagem natural/código mistas.
4. Fundamentação de Referência: Para evitar penalizar respostas corretas que referenciam bibliotecas externas ou métodos irmãos não presentes nos contextos truncados, o pipeline anexa definições resolvidas do commit base do repositório e assinaturas de API reais do Context7.
5. Verificação: O conjunto de teste de agente de código passou por revisão humana e arbitragem, retendo 2.015 exemplos após filtragem por validade e precisão de fronteira.

Arquitetura do Modelo

Duas famílias de detectores foram treinadas no dataset unificado:

1. LettuceDetect-Qwen-2B: Um detector generativo Qwen3.5-2B ajustado (fine-tuned) com uma janela de contexto de 32.768 tokens. Ele produz um JSON contendo spans de caracteres, categorias e subcategorias.
2. LettuceDetect-mmBERT-base: Um codificador de classificação de tokens de 307 milhões de parâmetros (baseado em mmBERT) treinado com um comprimento máximo de sequência de 8.192 tokens.

Ambos os modelos são treinados usando um prompt agnóstico a dados que define a taxonomia de alucinação e fornece a requisição, o contexto e a resposta para verificação.

Principais Contribuições

1. Formulação da Tarefa: Uma formulação de tarefa em nível de span para detecção de alucinação pós-geração especificamente projetada para contextos de geração fundamentada estruturada (código, saída de ferramenta, documentos estruturados).
2. Benchmark Unificado: Um dataset abrangente de 74.285 novos exemplos cobrindo diversas modalidades, além de exemplos convertidos de benchmarks de RAG estabelecidos, permitindo avaliação cross-domain.
3. Desempenho do Detector: Demonstração de que um detector generativo ajustado (LettuceDetect-Qwen-2B) supera substancialmente detectores prontos para uso (off-the-shelf) e juízes de LLM zero-shot em splits de agente de código e saída de ferramenta, permanecendo competitivo em benchmarks de RAG de linguagem natural.

Resultados Experimentais

Principais Descobertas

No conjunto de teste unificado, o LettuceDetect-Qwen-2B alcançou um span-F1 de 0,689.

• Desempenho de Agente de Código: O modelo alcançou um span-F1 de 0,602 no split de agente de código, superando significativamente o LettuceDetect-large (0,17) e os juízes LLM zero-shot mais fortes avaliados (Nemotron-3-Ultra e gpt-oss-120b, ambos $\le$ 0,22).
• Desempenho de Linguagem Natural: O modelo permaneceu competitivo em benchmarks estabelecidos, alcançando 81,8 de exemplo-F1 no RAGTruth e 0,724 de IoU no PsiloQA em inglês (superando o mmBERT-base ajustado dos autores do benchmark, que foi de 0,707).
• Capacidade Multilíngue: Através de 14 idiomas no PsiloQA, o modelo atingiu um IoU médio de 0,689, superando o juiz Qwen2.5-32B (0,383).

Comparação com Baselines

• Juízes Zero-Shot: Grandes LLMs zero-shot (ex: Nemotron-3-Ultra, gpt-oss-120b) tiveram dificuldades com código e saída de ferramentas, frequentemente sinalizando códigos novos e corretos como não fundamentados ou falhando em distinguir entre edições válidas e alucinações.
• Detectores Especializados: Detectores existentes treinados apenas em linguagem natural (ex: LettuceDetect-large) tiveram desempenho pobre em dados estruturados (0,17 span-F1 em código).
• Encoder vs. Generator: O detector generativo (Qwen-2B) superou consistentemente o codificador de classificação de tokens (mmBERT-base) em todas as fontes (0,689 vs. 0,642 de span-F1 geral).

Significância e Alegações

O artigo alega que o benchmark e o detector propostos abordam uma lacuna crítica na avaliação de RAG: a falta de verificação em nível de span para saídas estruturadas e não-linguagem natural. Os autores enfatizam que:

• A Verificação Estruturada é Distinta: A verificação em código e saída de ferramentas requer um raciocínio diferente da linguagem natural, particularmente em relação a erros de intenção e validade estrutural.
• Detectores Generativos são Superiores: Modelos generativos ajustados com janelas de contexto longas são mais adequados para esta tarefa do que encoders tradicionais ou juízes zero-shot, particularmente ao lidar com contextos de repositório longos e dependências complexas.
• Avaliação Unificada: Um único modelo pode lidar efetivamente com diversas modalidades (código, saída de ferramenta, documentos) sem sacrificar o desempenho em tarefas de linguagem natural.

Os autores observam limitações, incluindo a dependência de injeção sintética para a maioria dos rótulos (embora o conjunto de teste de código tenha sido revisado por humanos) e o foco na verificação da resposta final em vez de trajetórias completas de agentes. Eles concluem que seu trabalho fornece uma base necessária para o desenvolvimento de sistemas de verificação robustos para a próxima geração de agentes de geração fundamentada.