Attribution, Citation, and Quotation: A Survey of Evidence-based Text Generation with Large Language Models

Título: Atribuição, Citação e Citação Direta: Um Levantamento de Geração de Texto Baseada em Evidências com Grandes Modelos de Linguagem (LLMs)

1. Problema

A adoção crescente de Grandes Modelos de Linguagem (LLMs) levantou preocupações sérias sobre sua confiabilidade e confiabilidade, principalmente devido à tendência de gerar "alucinações" (informações factuais incorretas) e ao conhecimento limitado ao conjunto de dados de treinamento. Para mitigar isso, surgiu uma linha de pesquisa focada na geração de texto baseada em evidências, onde as saídas do modelo devem ser vinculadas a fontes de suporte verificáveis.

No entanto, o campo atual é altamente fragmentado devido a:

• Terminologia inconsistente: Termos como "citação", "atribuição" e "citação direta" são usados de forma intercambiável ou isolada, dificultando a comparação.
• Práticas de avaliação isoladas: Falta de benchmarks unificados e métricas padronizadas.
• Falta de uma visão unificada: Não existia até então uma revisão sistemática que abrangesse todo o espectro dessas abordagens (RAG, atribuição paramétrica, não paramétrica, etc.).

2. Metodologia

Os autores conduziram um estudo de mapeamento sistemático seguindo o protocolo PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses).

• Coleta de Dados: A busca foi realizada em fevereiro de 2025 em nove bases de dados principais (incluindo ACL Anthology, arXiv, IEEE Xplore, etc.).
• Filtragem: Inicialmente, foram identificados 1.040 registros. Após remoção de duplicatas e triagem manual baseada em critérios de inclusão rigorosos (geração de texto com LLMs, incorporação deliberada de referências de evidência, texto em inglês), 134 artigos foram selecionados para análise detalhada.
• Análise: Os autores desenvolveram uma taxonomia multidimensional baseada em uma abordagem de classificação facetada. Eles analisaram os artigos em três dimensões principais:
  1. Abordagem de Atribuição: Como o texto é vinculado à evidência.
  2. Características de Citação: Modalidade, nível de evidência, estilo, visibilidade e frequência.
  3. Tarefa: O objetivo funcional da geração (ex: QA, sumarização).
• Métricas e Recursos: O estudo catalogou 300 métricas de avaliação, 19 frameworks, 11 benchmarks e 231 conjuntos de dados.

3. Contribuições Principais

1. Primeira Taxonomia Unificada: Apresentam a primeira taxonomia dedicada à geração de texto baseada em evidências com LLMs, categorizando o campo em dimensões independentes para permitir análises granulares.
2. Revisão Abrangente de Avaliação: Analisam 300 métricas, classificando-as em sete dimensões (Atribuição, Citação, Corretude, Qualidade Linguística, Preservação, Relevância, Recuperação) e seis métodos de avaliação (Humana, Baseada em Inferência, Sobreposição Lexical, LLM como Juiz, Baseada em Recuperação, Similaridade Semântica).
3. Identificação de Tendências e Limitações: Mapeiam a evolução temporal do campo, destacando a dominância de abordagens não paramétricas e a escassez de métodos paramétricos robustos.
4. Recurso Público: Disponibilizam um conjunto de dados anotado publicamente contendo todas as 134 classificações, métricas e recursos extraídos.

4. Resultados e Descobertas Chave

A. Abordagens de Atribuição:

• Não Paramétrica (Dominante): 126 dos 134 estudos utilizam abordagens não paramétricas, que integram fontes externas durante a inferência.
  • Pós-recuperação (Post-Retrieval): A abordagem mais comum (58%), onde a recuperação ocorre antes da geração (ex: RAG padrão).
  • Pós-geração (Post-Generation): Gera uma resposta e depois busca evidências para validá-la (18%).
  • Durante a Geração (In-Generation): O modelo decide dinamicamente quando recuperar evidências (4% - emergente).
  • Em Contexto (In-Context): A evidência é fornecida diretamente no prompt pelo usuário (20%).
• Paramétrica (Subexplorada): Apenas 25 estudos. A maioria (72%) foca em avaliar LLMs "puros" sem modificação. Abordagens centradas em modelo (fine-tuning) e dados (curadoria de dados) são raras e enfrentam desafios de escalabilidade.

B. Características de Citação:

• Modalidade: O texto domina esmagadoramente (96%). Evidências não textuais (gráficos, tabelas, visuais) são raras (4%), indicando uma lacuna para pesquisa multimodal.
• Nível de Evidência: Predominam níveis grosseiros (documento e parágrafo). Níveis finos (sentença, token) estão crescendo, mas ainda são minoritários.
• Estilo: Citações in-line (ex: [1]) são o padrão (62%). Estilos como relatórios de citação, citações narrativas e gradientes de destaque são menos comuns.
• Visibilidade: 91% das citações são visíveis ao usuário na resposta final.

C. Tarefas:

• Perguntas e Respostas (QA): É a tarefa dominante (95 artigos), seguida por Geração de Texto Fundamentado e Sumarização.
• Tarefas Emergentes: Geração de texto de citação, geração de trabalhos relacionados e verificação de fatos estão ganhando atenção, mas com menos volume.

D. Avaliação:

• Falta de Padronização: Apenas dois frameworks (ALCE e G-Eval) e dois benchmarks são reutilizados frequentemente. A maioria dos estudos cria suas próprias métricas.
• Dimensões Críticas: Atribuição e Corretude são as dimensões centrais. No entanto, a avaliação de "Corretude" em textos longos ainda depende fortemente de avaliação humana devido à dificuldade das métricas automáticas em capturar erros factuais sutis.

5. Significado e Direções Futuras

O artigo estabelece uma base fundamental para unificar um campo de pesquisa fragmentado. Seus resultados apontam para desafios críticos e direções promissoras:

1. Atribuição Híbrida: A necessidade de combinar sinais paramétricos (conhecimento interno do modelo) e não paramétricos (evidência externa) para superar as limitações de ambos.
2. Padrões de Avaliação: A urgência de desenvolver frameworks de avaliação padronizados e escaláveis que cubram todas as sete dimensões, reduzindo a dependência de avaliações humanas custosas.
3. Explicabilidade de Citações: Investigar por que um LLM escolhe uma fonte específica, para identificar vieses e aumentar a confiança do usuário.
4. Evidência Multimodal: Superar a dependência exclusiva de texto, integrando e citando gráficos, tabelas e imagens de forma coesa.

Em resumo, este levantamento fornece um roteiro essencial para pesquisadores e praticantes que buscam tornar os LLMs mais confiáveis, verificáveis e transparentes através da geração de texto baseada em evidências.