Resumo Técnico: FullCite – Fundamentação de Evidência Explícita via Geração de Citação Inline Estruturada

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) substituem os mecanismos de busca tradicionais ao fornecer respostas diretas, a demanda por geração factual e fiel cresceu, particularmente em domínios de alto risco como medicina, direito e ciência. Embora a Geração Aumentada por Recuperação (RAG) permita que os modelos fundamentem seus resultados em documentos externos, a mera presença de contexto recuperado não garante o uso fiel. Os modelos frequentemente recorrem ao conhecimento paramétrico, atribuem incorretamente afirmações a documentos irrelevantes ou produzem saídas apenas parcialmente suportadas pela evidência.

As soluções existentes geralmente se dividem em duas categorias:

1. Citações ao nível do documento: Atribuições de granularidade grossa que referenciam um documento de origem, mas falham em identificar a evidência de suporte específica, potencialmente citando documentos que contêm informações relacionadas, mas não suportadoras.
2. Citações de granularidade fina: Abordagens que referenciam spans de evidência específicos, mas muitas vezes carecem de atribuição simultânea ao documento ou lutam para manter uma adesão estrutural rigorosa.

Existe uma lacuna crítica em frameworks que otimizam simultaneamente tanto a atribuição ao nível do documento quanto a identificação precisa do span de evidência, mantendo a fidelidade semântica.

Metodologia: O Framework FullCite

Os autores introduzem o FullCite, um framework projetado para gerar citações inline estruturadas que vinculam cada afirmação em uma resposta tanto ao seu documento de origem quanto a um span de evidência verbatim (literal) de suporte. O formato da citação é estritamente definido como {doc_id: <identificador>, snippet: <texto verbatim>}.

O FullCite avalia três estratégias distintas para gerar essas citações estruturadas:

1. Geração baseada em Prompt: O modelo é instruído via prompts de linguagem natural a fornecer citações de evidência verbatim após cada afirmação. A conformidade depende inteiramente das capacidades de seguimento de instrução do modelo, sem intervenção no tempo de decodificação.
2. Decodificação Restrita (Constrained Decoding): Um autômato de estados finitos (FSA) impõe a gramática da citação durante a inferência. O autômato rastreia o estado de geração (afirmação, ID do documento ou snippet) e restringe o próximo token àqueles consistentes com a gramática e o conteúdo verbatim do contexto. Se o modelo falhar em seguir a estrutura, ele tenta novamente até três vezes com temperatura aumentada.
3. Alinhamento de Span Posthoc: O modelo gera texto livremente. Subsequentemente, o sistema tenta aproximar a evidência citada encontrando o snippet mais semelhante no documento de origem (dado um ID de documento corretamente gerado) usando a similaridade de Jaccard ao nível de palavra. Um limiar de similaridade de 0,7 é usado para reconstruir snippets que não coincidem palavra por palavra.

Configuração Experimental

O framework foi avaliado em três benchmarks cobrindo diversos domínios e tipos de perguntas:

• BioASQ: Domínio biomédico (sim/não, factoid, resumo, lista).
• ASQA: Perguntas de fatos de domínio geral.
• ExpertQA: Perguntas de múltiplos domínios (32 domínios) com fontes anotadas por especialistas.

Como o ASQA e o ExpertQA originalmente careciam de anotações de spans de evidência de granularidade fina, os autores aplicaram uma etapa de anotação adicional usando o GPT-5.4-mini para extrair spans de evidência atômicos, validados contra as anotações de ouro do BioASQ (alcançando >90% de ROUGE-L).

Experimentos utilizaram dois LLMs de pesos abertos: Qwen3-8B e Gemma-3-12B-it. A avaliação mediu o desempenho em três dimensões:

1. Corretude ao nível do documento (Doc-F1): Precisão ao citar o documento de origem correto.
2. Identificação de span de evidência (Snippet-F1): Precisão ao identificar o texto de suporte preciso.
3. Fidelidade afirmação-citação: Similaridade semântica entre a afirmação e o span citado, avaliada via sentence transformers, LLM-as-a-Judge (GPT-5.4) e anotação humana.

Resultados Principais

1. Localização de Documento vs. Span

Os resultados revelam uma disparidade significativa nas capacidades dos modelos. Os LLMs são geralmente eficazes na identificação de documentos relevantes (altas pontuações Doc-F1), mas lutam para localizar o span de suporte preciso dentro deles (baixas pontuações Snippet-F1).

• Baseline (Baseada em Prompt): Alcançou alto Doc-F1 (ex: 58,08 no BioASQ), mas muito baixo Snippet-F1 (6,18 no BioASQ).
• Estratégia Posthoc: Mostrou os ganhos mais substanciais na identificação de spans. Para o ASQA, o Snippet-F1 melhorou de 12,80 (baseado em prompt) para 61,87 (Posthoc) usando o Qwen3-8B. No entanto, isso frequentemente envolveu um trade-off onde a cobertura de documentos diminuiu ligeiramente em troca de maior precisão de span.
• Decodificação Restrita: Forneceu melhorias moderadas na identificação de spans, mas foi menos eficaz que a abordagem Posthoc em algumas configurações.

2. Fidelidade e Alinhamento Semântico

Há um trade-off notável entre a localização estrita de spans e a fidelidade semântica.

• Qwen3-8B alcançou suas pontuações mais altas de similaridade semântica sob a configuração de baseline baseada em prompt, com as pontuações declinando sob as configurações Posthoc e de Decodificação Restrita.
• Gemma-3-12B-it demonstrou mais estabilidade, com pontuações de similaridade frequentemente preservadas ou melhoradas sob as configurações Posthoc e de Decodificação Restrita.
• Avaliação Humana/LLM: Tanto anotadores humanos quanto o GPT-5.4 avaliaram as citações positivamente para "Suporte" e "Relevância", com a estratégia Posthoc geralmente alcançando o desempenho mais forte. Desacordos entre avaliadores humanos e LLM foram primariamente em pontuações adjacentes (ex: 1 vs. 2).

3. Vieses Sistemáticos e Falhas

A análise revelou dois padrões sistemáticos que prejudicam a fundamentação de evidências:

• Viés de Primazia: No BioASQ, 81,8% das citações visaram apenas os dois primeiros de cinco documentos de contexto, consistente com o fenômeno "lost-in-the-middle" (perdido no meio).
• Omissão de Citação: Os modelos frequentemente omitiram citações inteiramente para perguntas binárias de sim/não, inflando artificialmente as pontuações de baseline. Uma vez que a atribuição foi imposta, essas pontuações caíram, revelando que o sucesso do baseline se devia à falta de fundamentação, e não a um desempenho superior.

4. Impacto Downstream

Em tarefas de QA downstream, a configuração Posthoc FullCite rendeu os resultados gerais mais fortes, particularmente para o BioASQ (ganho médio de 19,85 pontos). Embora os baselines baseados em prompt tenham pontuado mais alto em perguntas de sim/não, isso foi atribuído à omissão de citações. Para perguntas de factoid, resumo e lista, a fundamentação melhorou significamente o desempenho, especialmente para respostas curtas e verificáveis.

Significância e Alegações

O artigo afirma que o FullCite é o único framework que otimiza simultaneamente tanto a atribuição de nível de documento quanto de span de evidência, mantendo pontuações de similaridade semântica competitivas.

• Cobertura Conjunta: Diferente de trabalhos anteriores que focam ou em referências de documentos ou em snippets de evidência, o FullCite oferece uma abordagem equilibrada para QA atribuído fiel.
• Gap de Identificação de Span: O trabalho destaca que o principal gargalo para a atribuição fiel não é a recuperação de documentos, mas a identificação precisa de spans de evidência.
• Insight Metodológico: O estudo demonstra que impor uma estrutura estrita (via decodificação restrita) ou aproximar os spans pós-geração (Posthoc) produz uma melhor fundamentação de evidências do que depender apenas da geração baseada em prompt, embora isso possa ocorrer ao custo de algum alinhamento semântico, dependendo do modelo.

Os autores concluem que alcançar um QA atribuído fiel requer uma mudança no foco da pesquisa, da recuperação de nível de documento para a identificação precisa de spans de evidência e métodos de avaliação que possam distinguir similaridade superficial de suporte genuíno.

Limitações

Os autores reconhecem diversas limitações:

• Escopo de Domínio: As descobertas baseiam-se em conjuntos de dados biomédicos, gerais e de múltiplos domínios, podendo não se transferir para os domínios jurídico ou financeiro.
• Escopo de Modelo: Os experimentos foram limitados a dois modelos de pesos abertos; padrões podem diferir para modelos maiores ou proprietários.
• Métricas de Avaliação: Métricas automáticas (Doc-F1, Snippet-F1) são proxies e não capturam totalmente o em-termos (entailment); a avaliação humana foi limitada em escala.
• Vieses Não Abordados: O framework não mitiga explicitamente o viés de primazia ou a tendência de omitir citações para perguntas binárias.
• Treinamento: O estudo não explorou o ajuste fino (fine-tuning) de modelos especificamente para a geração conjunta de citação de documento e span.