PaperTrail: A Claim-Evidence Interface for Grounding Provenance in LLM-based Scholarly Q&A

Resumo Técnico: PaperTrail

1. O Problema

O crescimento acelerado da literatura científica exige que especialistas sintetizem vastas quantidades de informações, uma tarefa cognitivamente exigente. Modelos de Linguagem de Grande Escala (LLMs) foram integrados a sistemas de Perguntas e Respostas (QA) acadêmicas para auxiliar nessa síntese. No entanto, esses sistemas frequentemente cometem erros sutis, como "alucinações" (informações inventadas), omissões de dados cruciais e afirmações não fundamentadas.

Os mecanismos de proveniência atuais (como citações de fontes) são insuficientes para o rigor acadêmico porque:

• São frequentemente granulares demais (citação de parágrafos inteiros em vez de afirmações específicas).
• Podem ser eles mesmos alucinados ou imprecisos.
• Não permitem a verificação rápida de se uma afirmação específica no texto gerado pelo LLM é realmente suportada pelo documento original.

Isso cria um risco de propagação de desinformação e dificulta a calibração adequada da confiança dos pesquisadores nas ferramentas de IA.

2. Metodologia e Arquitetura do Sistema

Os autores desenvolveram o PaperTrail, uma interface que decompõe tanto as respostas do LLM quanto os documentos fonte em afirmações (claims) e evidências discretas, mapeando-as para revelar o que é suportado, o que não é e o que foi omitido.

Arquitetura de Backend (Motor de Extração de Argumentos):
O sistema utiliza um pipeline de três estágios que combina três métodos de extração, equilibrando custo computacional e capacidade semântica:

1. Extração Offline (Nível de Artigo): Processamento prévio de documentos PDF para extrair afirmações e evidências usando LLMs (Gemini 2.5 Pro) com few-shot prompting baseado no modelo de argumentação de Toulmin. Isso cria uma base de conhecimento estruturada (JSON) antes da interação do usuário.
2. Extração em Tempo Real (Nível de Resposta): Quando o usuário faz uma pergunta, o LLM gera uma resposta. Um segundo LLM decompõe essa resposta em afirmações e evidências, garantindo consistência estrutural com os documentos fonte.
3. Correspondência (Matching) em Tempo Real: Utiliza Retrieval-Augmented Generation (RAG) e similaridade semântica (embeddings SPECTER) para alinhar as afirmações da resposta do LLM com as afirmações extraídas dos documentos fonte.
   • O sistema identifica correspondências (afirmações suportadas), não correspondências (afirmações não suportadas) e omissões (afirmações do documento que não aparecem na resposta).
   • Um limiar de similaridade coseno (< 0.55) é usado para sinalizar evidências potencialmente não suportadas.

Interface Frontend:
A interface é um aplicativo web de três painéis:

• Painel Esquerdo: Contexto da tarefa e editor de texto onde o usuário edita o rascunho gerado pelo LLM.
• Painel Central: Interface de chat para fazer perguntas sobre os documentos. As respostas possuem anotações interativas nas afirmações.
• Painel Direito (Proveniência): Exibe o "Claim Coverage" (cobertura de afirmações) e cartões coloridos:
  • Verde/Azul (Teal): Afirmações do documento incluídas na resposta.
  • Vermelho: Afirmações do documento omitidas na resposta.
  • O painel permite navegação coordenada (brushing-and-linking) entre a resposta e as fontes originais.

3. Contribuições Principais

1. Design e Implementação do PaperTrail: Um sistema operacional que torna explícitas as estruturas de argumentação acadêmica, decompondo e vinculando afirmações e evidências entre respostas de LLM e documentos fonte.
2. Arquitetura de Backend Flexível: Um framework para extração de claim-evidence que serve tanto como ferramenta interativa quanto como base para avaliar a confiabilidade de LLMs em contextos acadêmicos.
3. Evidência Empírica de Calibração de Confiança: Um estudo demonstrando que a proveniência granular baseada em argumentos reduz a confiança subjetiva nos LLMs em comparação com citações padrão.
4. Descoberta da Lacuna Confiança-Comportamento: Evidência de que, embora a confiança diminua, isso não se traduz necessariamente em mudanças comportamentais (edição do texto) devido a restrições sistêmicas de tempo e usabilidade.

4. Resultados do Estudo de Usuário

Um estudo within-subjects foi conduzido com 26 pesquisadores (cientistas e engenheiros de pesquisa da NASA) realizando duas tarefas de edição de texto acadêmico (síntese de múltiplos artigos e revisão "advogado do diabo").

Principais Métricas e Achados:

• Confiança (Trust): O uso do PaperTrail reduziu significativamente a confiança subjetiva dos participantes nas respostas do LLM em comparação com a interface de base (citações simples) ($p = 0.015$). Os usuários tornaram-se mais cautelosos.
• Dependência Comportamental (Reliance): Não houve diferença estatisticamente significativa na quantidade de edição feita nos textos gerados pelo LLM entre as duas condições. Os participantes continuaram a depender das edições do LLM, mesmo com menor confiança.
• Confiança Subjetiva na Edição: Não houve diferença significativa na confiança que os participantes tinham sobre as edições que fizeram.
• Usabilidade e Carga Cognitiva: O PaperTrail foi avaliado como significativamente menos usável ($p = 0.026$) e mais complexo. Os participantes relataram que a interface era "desordenada" e que a latência do sistema (tempo de resposta médio de ~90 segundos) e as restrições de tempo do estudo impediram uma verificação profunda.

Análise Qualitativa:

• Os participantes valorizaram o conceito de verificação detalhada e a ética de rastrear afirmações até suas fontes.
• No entanto, a frustração com a usabilidade e a pressão de tempo levaram muitos a aceitar o texto do LLM sem edições profundas, ou apenas fazer perguntas superficiais para verificar a precisão, sem reescrever o conteúdo.
• Houve uma desconexão entre a intenção de verificar e a ação de editar, exacerbada pela fadiga cognitiva e pela complexidade da interface.

5. Significado e Implicações

O trabalho destaca um fenômeno crítico na interação Humano-IA: a lacuna entre confiança e comportamento. Ter ferramentas que aumentam a ceticismo (reduzindo a confiança) não é suficiente para mudar o comportamento de uso se as barreiras de usabilidade, tempo e carga cognitiva forem altas.

Implicações para o Futuro:

• Design Adaptativo: Sistemas devem ajustar o nível de detalhe da proveniência conforme a complexidade da pergunta (ex: links simples para fatos básicos, interface de claims para sínteses complexas).
• Treinamento e Scaffolding: Interfaces devem guiar os usuários gradualmente no pensamento crítico, talvez usando elementos lúdicos ou tutoriais, para que a verificação se torne um hábito e não uma sobrecarga.
• Avaliação de Confiabilidade: A arquitetura de backend do PaperTrail pode ser usada como uma métrica de "confiabilidade" para avaliar LLMs, indo além de métricas superficiais para medir fidelidade e completude em relação às fontes.
• Necessidade de Eficiência: Para que ferramentas de proveniência acadêmica sejam adotadas, a latência deve ser reduzida e a interface deve ser simplificada para não competir com o tempo limitado dos pesquisadores.

Em suma, o PaperTrail demonstra que a granularidade na proveniência é valiosa para a transparência, mas sua eficácia prática depende de uma implementação que respeite as limitações cognitivas e temporais dos usuários reais.