Resumo Técnico: Alinhando o Comportamento de Grandes Modelos de Linguagem com Preferências Humanas de Citação

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) incorporem cada vez mais citações para aumentar a verificabilidade de seus resultados, os mecanismos que regem o que conteúdo justifica uma citação permanecem subexplorados. A pesquisa atual foca pesadamente em quais documentos vincular (por exemplo, via RAG), mas atenção insuficiente foi dada à decisão de quando citar com base no conteúdo do texto. Um desequilíbrio na frequência de citações — seja poucas ou muitas — pode erodir a confiança do usuário, reduzir a satisfação e prejudicar a precisão das decisões. Este estudo aborda a lacuna crítica de entender se os LLMs se alinham inerentemente com as preferências humanas em relação à necessidade de citação e se esses comportamentos podem ser controlados.

Metodologia

Construção do Conjunto de Dados

Os autores construíram um conjunto de dados especializado para caracterizar a relação entre as preferências de citação humana e o comportamento dos LLMs:

• Fonte: 6.000 sentenças extraídas do conjunto de dados WikiSQE, derivado da Wikipedia.
• Categorização: As sentenças foram rotuladas com etiquetas de qualidade e reagrupadas em oito categorias de motivação de citação:
  1. Informação Ausente (Quem, Quando, Qual, Onde)
  2. Sic (Erros textuais)
  3. Dúvida (Alegações duvidosas)
  4. Vago (Termos ambíguos)
  5. POV (Declarações não neutras/tendenciosas)
  6. Conteúdo Médico (Alegações de saúde sem fonte)
  7. Jargão (Termos excessivamente técnicos)
  8. Pouco Claro (Difícil de entender)
• Estratégia de Anotação: O estudo utilizou comparações pareadas. Para cada combinação das oito categorias (28 pares), os anotadores foram apresentados a duas sentenças e solicitados a selecionar qual delas requeria uma citação. Isso resultou em 2.596 pares de comparação de alta qualidade após o controle de qualidade.
• Participantes: 402 anotadores humanos forneceram as preferências de verdade fundamental (ground-truth).

Avaliação do Modelo

O estudo avaliou 11 LLMs (incluindo modelos de código aberto como Llama, Mistral e DeepSeek, e modelos fechados como GPT-5, Claude e Gemini) no conjunto de dados construído. A avaliação mediu a taxa de concordância entre a escolha de citação do modelo e a preferência humana para cada par de sentenças.

Alinhamento via Treinamento

Para investigar se o comportamento de citação poderia ser corrigido, os autores aplicaram Otimização de Preferência Direta (DPO) utilizando os dados anotados por humanos. Eles realizaram o ajuste fino (fine-tuning) de cinco modelos alvo (Llama 1B, 3B, 70B, Mistral Small e Mistral Large) usando LoRA para alinhar suas decisões de citação com as preferências humanas.

Principais Resultados

1. Alinhamento Limitado nos Modelos Atuais

Os LLMs atuais exibem apenas um alinhamento fraco com as preferências de citação humanas, com taxas de concordância média estagnadas na casa dos 60 baixos (ex: DeepSeek em 62,7%, Llama 70B em 61,6%). Foi observado um claro efeito de escala de parâmetros, onde modelos maiores geralmente performaram melhor, embora mesmo os maiores modelos tenham falhado em atingir altos níveis de concordância.

2. Divergências Sistemáticas

A análise revelou divergências específicas e sistemáticas no comportamento dos modelos em comparação aos humanos:

• Sobre-seleção de Rótulos de "Citação Necessária": Os modelos são significamente mais propensos a citar sentenças explicitamente marcadas com "Citação necessária" na Wikipedia do que os humanos. Modelos fechados mostraram até 27,4% de taxas de seleção mais altas para essas sentenças em comparação aos humanos, sugerindo uma forte impressão dos dados de treinamento em vez de uma compreensão genuína da necessidade de citação.
• Sub-seleção de Sentenças Numéricas: Os modelos subselecionam sistematicamente sentenças contendo números (expressões quantitativas), com taxas até 22,6% menores do que as preferências humanas. Humanos tipicamente exigem citações para estatísticas, mas os modelos frequentemente falham em reconhecer essa necessidade.
• Sub-seleção de Nomes Próprios: Da mesma forma, os modelos subselecionam sentenças contendo nomes próprios em até 20,1% em relação aos humanos, apesar da alta sensibilidade factual exigida para conteúdo biográfico.
• Consenso de Conteúdo Médico: Tanto humanos quanto modelos priorizam consistentemente citações para conteúdo médico, mostrando as maiores taxas de concordância entre todas as categorias.

3. Eficácia do DPO

O treinamento de modelos via DPO nos dados anotados por humanos melhorou com sucesso o alinhamento:

• Ganhos de Desempenho: A abordagem gerou uma melhoria média de 5,76% na concordância com as preferências humanas.
• Impacto Específico por Modelo: Modelos menores se beneficiaram mais, com o Llama 1B apresentando uma melhoria de 11,8%. No entanto, modelos maiores como o Llama 70B viram um leve declínio (-1,6%), sugerindo que as estratégias de alinhamento podem precisar ser adaptadas à escala do modelo.
• Mitigação de Viés: O DPO demonstrou a capacidade de atenuar a influência dos vieses dos dados de treinamento (como a dependência excessiva de templates de "Citação necessária"), aproximando o comportamento do modelo do julgamento humano.

Principais Contribuições

1. Primeiro Estudo sobre Necessidade de Citação: Este trabalho apresenta a primeira investigação focada especificamente na necessidade de citações dentro do texto, examinando as preferências tanto de humanos quanto de LLMs.
2. Conjunto de Dados Especializado: A construção de um conjunto de dados de 6.000 sentenças com rótulos de preferência de citação humana através de oito distintas categorias baseadas em conteúdo.
3. Análise da Influência dos Dados de Treinamento: O estudo demonstra que o comportamento de citação dos LLMs é fortemente influenciado por padrões de dados de treinamento (ex: templates da Wikipedia), levando a divergências das preferências humanas.
4. Demonstração da Eficácia do DPO: O artigo mostra que a Otimização de Preferência Direta pode calibrar efetivamente o comportamento do modelo para melhor corresponder às preferências de citação humana, oferecendo um mecanismo para controlar a frequência e o tipo de citação.

Significância e Implicações

O artigo argumenta que o comportamento de citação não deve ser assumido como algo que emerge naturalmente do pré-treinamento, mas deve ser explicitamente treinado e avaliado. As descobertas sugerem que:

• Treinamento Explícito é Necessário: Confiar apenas no pré-treinamento é insuficiente para alcançar o alinhamento de "cite-worthiness" (merecimento de citação).
• Implantação Controlada: Sistemas de IA futuros devem considerar o roteamento consciente de categorias (ex: aumentar gatilhos para sentenças numéricas e de nomes próprios) e o controle de frequência para equilibrar a verificabilidade com a experiência do usuário.
• Otimização de Pipeline de Agentes: Como muitos sistemas modernos permitem que os LLMs governem implicitamente as decisões de busca e citação, melhorar o alinhamento de "cite-worthiness" no nível do modelo pode aumentar diretamente a confiabilidade dos pipelines de agentes de IA.

Os autores concluem que, embora os modelos atuais mostrem promessa, resta um trabalho significativo para alinhar o comportamento deles com as expectativas humanas, particularmente no tratamento de tipos de conteúdo específicos como números e nomes, e que o treinamento baseado em preferências oferece um caminho viável a seguir.