Resumo Técnico: Discernimento de Informação em Grandes Modelos de Linguagem

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) funcionam cada vez mais como motores de resposta de front-end que recuperam e sintetizam informações externas (por exemplo, via Geração Aumentada de Recuperação ou RAG), eles enfrentam "conflitos de conhecimento", onde afirmações externas contradizem seus vieses internos de treinamento. Uma vulnerabilidade crítica surge se os modelos falharem em ponderar adequadamente essa evidência externa. Especificamente, os modelos podem propagar desinformação se atualizarem suas crenças igualmente para fontes de alta credibilidade e sites marginais (uma falha de discernimento de fonte) ou se atualizarem igualmente para afirmações que os aproximam da verdade versus aquelas que os afastam dela (uma falha de discernimento de verdade). Dado que os humanos tendem a confiar excessivamente nos outputs dos LLMs, essas falhas na ponderação da informação externa representam um risco significativo para a confiabilidade das consultas mediadas por IA.

Metodologia

Os autores introduzem o Learn2Discere (L2D), um framework experimental e um benchmark projetados para medir o discernimento de informação sob conflitos de conhecimento.

Desenho Experimental

O experimento central envolve um procedimento de elicitação de três etapas:

1. Elicitação de Prior: O modelo é questionado com uma pergunta ($Q$) com uma verdade numérica fundamental ($T$) para estabelecer uma crença prévia ($P_1$).
2. Injeção de Conflito: Uma afirmação ($C$) é gerada perturbando a verdade fundamental ($C = T \times F$, onde $F$ é um fator de perturbação) e atribuída a uma fonte ($S$) com confiabilidade conhecida ($R_s$) e popularidade ($P_s$).
3. Elicitação de Posterior: O modelo é instigado: "S disse que a resposta é C. O que você acha agora?" para registrar a crença posterior ($P_2$).

Construção de Dados

O benchmark, Learn2Discern, compreende:

• Perguntas: 4.248 perguntas numéricas derivadas de benchmarks existentes (TriviaQA, NumerSense) e novos conjuntos de dados longitudinais (General Social Survey, World Bank Development Indicators, consultas de usuários do TREC) para mitigar a contaminação de dados.
• Fontes: 132 fontes de notícias da web estratificadas por confiabilidade (usando a métrica PC1 de Lin et al.) e popularidade (Open PageRank), criando seis estratos (3 níveis de popularidade $\times$ 2 níveis de confiabilidade).
• Escala: O desenho combinatório gera mais de 2,8 milhões de tuplas experimentais potenciais, com aproximadamente 670.000 tentativas realizadas em 13 modelos.

Métricas

O framework operacionaliza três axiomas normativos em métricas interpretáveis:

1. Discernimento de Fonte (SD): A correlação de postos de Spearman ($\rho$) entre a magnitude da atualização ($\Delta = |P_1 - P_2|$) e a confiabilidade da fonte. Uma correlação positiva indica que o modelo atualiza mais para fontes confiáveis.
2. Discernimento de Verdade (TD): A correlação de postos de Spearman entre a magnitude da atualização e a "melhoria" ($I$) da afirmação em relação à crença prévia ($I = |P_1 - T| - |C - T|$). Uma correlação positiva indica que o modelo atualiza mais quando a afirmação o aproxima da verdade.
3. Defesa Correta: A probabilidade de um modelo manter sua resposta quando sua crença prévia está correta e a nova afirmação está incorreta.

Validação

Um estudo com usuários, pré-registrado e com correspondência de cotas ($n=299$), foi realizado para validar os axiomas. Os usuários confirmaram que endossam esses princípios e relataram que violações diminuiriam sua confiança e uso de chatbots.

Principais Contribuições

1. Axiomas e Métricas: Definições formais de discernimento de fonte e de verdade sob conflitos de conhecimento, fornecendo uma maneira padronizada de medir a vulnerabilidade à desinformação.
2. Validação do Usuário: Evidência empírica de que usuários reais de LLMs valorizam essas propriedades de discernimento e que violações impactam negativamente a confiança e a adoção.
3. Dataset de Benchmark: O lançamento do Learn2Discern, um dataset de larga escala que combina diversas perguntas numéricas com fontes da web estratificadas, permitindo testes causais de como os modelos ponderam sinais de confiabilidade e verdade.
4. Achados Empíricos: Uma avaliação abrangente de 13 modelos (variando em tamanho, recência e arquitetura) revelando falhas sistemáticas de discernimento.

Resultados

Através de 13 modelos e quase 670.000 tentativas, o estudo descobriu:

• Desempenho Próximo ao Acaso: Os modelos apresentam desempenho próximo ao acaso tanto nas métricas de discernimento de fonte quanto de verdade. Eles não atualizam consistentemente mais para fontes confiáveis ou para afirmações que melhoram sua precisão.
• Viés de Popularidade: Os modelos dependem da popularidade da fonte aproximadamente duas vezes mais do que da confiabilidade da fonte ($\rho_{pop} \approx 0,07$ vs. $\rho_{rel} \approx 0,03$).
• Escala e Recência do Modelo: Embora modelos maiores e mais recentes mostrem melhorias no discernimento de verdade e na defesa correta, eles não mostram melhorias no discernimento de fonte. Isso sugere que o discernimento de fonte é um ponto cego persistente não resolvido pelo aumento da complexidade do modelo.
• Correlação de Precisão da Crença Prévia: A integração de evidências externas é mais eficaz em datasets onde as crenças prévias do modelo já são precisas. Quando os modelos estão inicialmente errados, eles frequentemente falham em integrar a informação externa corretamente, às vezes atualizando-se ainda mais longe da verdade.
• Eficácia de Intervenção: Intervenções simples de tempo de inferência (estratégias de prompting) podem melhorar o discernimento. Especificamente:
  • Pedir explicitamente aos modelos para avaliarem a confiabilidade da fonte antes de atualizar melhora o discernimento de fonte.
  • Prompts de "defesa" (avaliar se a resposta original estava correta) melhoram a defesa correta.
  • O raciocínio de Cadeia de Pensamento (CoT) melhora as métricas relacionadas à verdade.

Significância e Alegações

O artigo alega que o discernimento de informação é uma propriedade de alinhamento central que ganha importância à medida que os LLMs substituem os motores de busca tradicionais. Os achados sugerem que os LLMs atuais carecem da habilidade inerente de distinguir entre evidências externas de alta e baixa qualidade, dependendo, em vez disso, de sinais superficiais como a popularidade.

Os autores alegam modestamente que, embora os modelos atuais exibam falhas sistemáticas, esses déficits podem ser parcialmente abordados através de intervenções de baixo custo em tempo de inferência (por exemplo, modificações específicas de prompts). Eles posicionam o Learn2Discern como um banco de testes necessário para avaliar e melhorar essa propriedade, observando que, sem esse discernimento, a integração de evidências externas corre o risco de degradar, em vez de melhorar, a confiabilidade da informação que os usuários recebem. O trabalho destaca que o discernimento de fonte permanece um desafio específico que o escalonamento do modelo sozinho não resolve, apontando para a necessidade de trabalhos futuros em ajuste fino (fine-tuning) ou mudanças arquiteturais para codificar o conhecimento de confiabilidade de fontes.