Assessing Web Search Credibility and Response Groundedness in Chat Assistants

1. Problema e Motivação

Os assistentes de chat baseados em Grandes Modelos de Linguagem (LLMs) estão cada vez mais integrando funcionalidades de busca na web para recuperar e citar fontes externas, prometendo respostas mais confiáveis e atualizadas. No entanto, essa funcionalidade introduz riscos críticos:

• Amplificação de Desinformação: Os assistentes podem recuperar e citar fontes de baixa credibilidade ou propagandistas, especialmente em tópicos sensíveis (saúde, clima, política, guerra).
• Alucinação e Falta de "Groundedness": Mesmo quando citam fontes, as afirmações do assistente podem não ser realmente suportadas pelo conteúdo dessas fontes (falta de fundamentação).
• Viés de Enquadramento: A forma como o usuário formula a pergunta (ex.: um cético vs. um crente da desinformação) pode influenciar quais fontes o modelo busca e como ele as interpreta.

O trabalho identifica uma lacuna na literatura: não existia uma metodologia sistemática que avaliasse simultaneamente a credibilidade das fontes citadas e a fundamentação real das respostas em relação a essas fontes específicas.

2. Metodologia

Os autores propõem uma nova metodologia de avaliação em três etapas principais, aplicada a 100 afirmações (claims) em cinco tópicos propensos a desinformação: Saúde, Mudanças Climáticas, Guerra Rússia-Ucrânia, Política dos EUA e Tópicos Locais.

A. Coleta de Dados e Simulação de Usuários

• Papéis de Usuário: Para testar a robustez, os assistentes foram avaliados sob dois "personas":
  1. Verificador de Fatos (Fact-Checker): Busca verificar a veracidade da afirmação.
  2. Crente da Afirmação (Claim Believer): Assume que a afirmação é verdadeira e busca detalhes para confirmá-la (simulando um viés de confirmação).
• Assistentes Avaliados: GPT-4o, GPT-5 (incluindo seu modo de "pensamento" automático), Perplexity e Qwen Chat.
• Execução: Interações automatizadas via Selenium para simular cliques e digitação reais, garantindo que a busca na web fosse ativada.

B. Análise de Credibilidade da Fonte

• Classificação: As domínios citados foram classificados usando o Media Bias/Fact Check (MBFC) e listas de organizações de verificação de fatos.
• Métricas:
  • Taxa de Credibilidade (CR): Proporção de fontes classificadas como confiáveis.
  • Taxa de Não-Credibilidade (NCR): Proporção de fontes classificadas como de baixa credibilidade ou desinformação.

C. Avaliação de Groundedness (Fundamentação)

• Decomposição: As respostas foram divididas em "unidades atômicas" (afirmações factuais mínimas).
• Verificação: Cada unidade foi verificada contra as fontes citadas pelo assistente (e não contra novas buscas na web), utilizando um modelo de julgamento (Llama 3.3 70B) para determinar se a afirmação é Suportada, Contraditada ou Não Verificável.
• Métricas de Groundedness:
  • Groundedness Score (GS): Proporção de afirmações suportadas por qualquer fonte citada.
  • Credible Groundedness (CG): Proporção suportada apenas por fontes confiáveis.
  • Non-Credible Groundedness (NCG): Proporção suportada por fontes não confiáveis.

3. Principais Resultados

Desempenho Geral e Diferenças entre Modelos

• Perplexity: Demonstrou o melhor desempenho geral. Teve a maior Taxa de Credibilidade (86,3%) e a menor Taxa de Não-Credibilidade (0,7%). Foi o mais consistente em fundamentar respostas em fontes confiáveis, especialmente em tópicos sensíveis.
• GPT-4o e GPT-5: Apresentaram maior variabilidade. O GPT-4o exibiu taxas elevadas de citação de fontes não confiáveis em tópicos sensíveis (ex.: 4,55% de NCR na Guerra Rússia-Ucrânia). O GPT-5, embora tenha uma taxa de não-credibilidade baixa, apresentou a credibilidade geral mais baixa (71,4%) entre os modelos testados.
• Qwen Chat: Mostrou consistência moderada, mas com maior variabilidade. Quando citava fontes não confiáveis, uma grande parte da resposta (cerca de 60% das unidades factuais) era fundamentada nessas fontes ruins, indicando uma estratégia de recuperação frágil.

Impacto do Enquadramento (User Framing)

• O modo "Crente da Afirmação" (Claim Believer) levou a uma ligeira aumento na exposição a fontes de baixa credibilidade, especialmente nos modelos da OpenAI (GPT-4o e GPT-5). Isso sugere que perguntas que assumem falsas premissas podem induzir o modelo a buscar evidências que as confirmem, mesmo que sejam de fontes duvidosas.

Modo de Pensamento (Thinking Mode) no GPT-5

• O GPT-5 possui um modo de "pensamento" ativado automaticamente em alguns casos. A análise mostrou que, quando ativado, a credibilidade das fontes aumentou significativamente (de 69,8% para 85,8%) e a taxa de não-credibilidade caiu drasticamente (de 2,2% para 0,4%), sugerindo que o raciocínio interno ajuda a filtrar fontes ruins.

Tópicos Sensíveis

• Guerra Rússia-Ucrânia e Mudanças Climáticas: Foram os tópicos com maior exposição a fontes de desinformação. Cerca de 75% das fontes não confiáveis citadas na categoria de guerra eram ligadas a propaganda russa (ex.: News Pravda, EADaily).
• Saúde: Geralmente apresentou as taxas de credibilidade mais altas para todos os assistentes.

4. Contribuições Chave

1. Metodologia Integrada: Primeira avaliação sistemática que conecta a qualidade da fonte à fundamentação da resposta. A maioria dos trabalhos anteriores avalia apenas a factualidade ou a recuperação de fontes isoladamente.
2. Identificação de Falhas Específicas: Revelou que um assistente pode parecer "fundamentado" (citar fontes) mas ser não confiável se essas fontes forem de baixa credibilidade (Groundedness sem Credibilidade).
3. Benchmarks de Tópicos Sensíveis: Fornece dados comparativos sobre como diferentes assistentes lidam com desinformação em cenários de alto risco (guerra, política, saúde).

5. Significado e Implicações

• Risco de Confiança Falsa: O estudo alerta que a simples presença de citações não garante a veracidade da resposta. Usuários podem confiar erroneamente em assistentes que fundamentam suas respostas em fontes de desinformação.
• Diretrizes para Desenvolvimento: Sugere a necessidade de sistemas que combinem busca ampla com filtros rigorosos de credibilidade e mecanismos de raciocínio (como o modo de pensamento) para mitigar riscos.
• Transparência: A metodologia oferece uma base para avaliar e comparar sistemas de IA em ambientes de informação de alto risco, promovendo a responsabilidade no desenvolvimento de assistentes de chat.

Em resumo, o paper demonstra que, embora os assistentes com busca na web sejam capazes de fundamentar respostas, a qualidade da fundamentação varia drasticamente dependendo do modelo, do tópico e de como a pergunta é feita, com o Perplexity se destacando como o mais robusto contra a desinformação no cenário atual.