Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

Este estudo avalia que exigir citações verbais verificáveis em modelos de linguagem para classificação de elegibilidade de ensaios clínicos oncológicos cria um rastro de auditoria automatizado e aumenta a confiança nas previsões, embora reduza a cobertura e introduza falhas dependentes do modelo.

O essencial

Imagine que você tem um grupo de super-robôs inteligentes (chamados de Modelos de Linguagem Grande, ou LLMs) que trabalham em um hospital. A tarefa deles é ler resumos de estudos médicos e decidir: "Este estudo aceita pacientes com câncer local ou apenas com câncer que já se espalhou pelo corpo?"

Normalmente, esses robôs dão a resposta e pronto. Mas e se eles estiverem "alucinando"? E se a resposta estiver certa, mas o robô não souber explicar por que chegou a essa conclusão? Seria como um aluno que acerta a conta de matemática, mas não mostra o cálculo no papel.

Este estudo quis testar uma ideia simples: E se obrigarmos os robôs a "mostrar o trabalho" deles?

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Desafio: O Robô "Sem Papel de Rascunho" vs. "Com Papel de Rascunho"

Os pesquisadores pegaram 200 resumos de estudos reais de câncer e pediram para três robôs famosos (da OpenAI, Google e Anthropic) fazerem a classificação.

• Cenário A (O Robô Apressado): O robô só diz a resposta (ex: "Apenas Metastático").
• Cenário B (O Robô Cuidadoso): O robô é obrigado a dizer a resposta E colar uma frase exata do texto original que prova essa resposta. É como se o professor dissesse: "Não basta dar a resposta, você tem que copiar a linha do livro que te deu a dica".

2. O que eles descobriram? (Os Resultados)

A. A "Fidelidade" Mecânica (O Robô Copia Certo?)
A maioria dos robôs conseguiu copiar a frase do texto corretamente. Eles não inventaram palavras novas; eles realmente colaram um pedaço do texto original.

• Analogia: Foi como pedir para um fotógrafo tirar uma foto de um quadro. A maioria conseguiu tirar a foto do quadro sem distorcer a imagem.

B. O Preço da Honestidade (Cobertura vs. Precisão)
Quando exigiram que o robô mostrasse a prova, eles fizeram menos tentativas.

• O que aconteceu: Alguns robôs disseram: "Não consigo encontrar uma frase clara aqui, então não vou chutar". Eles se abstiveram de responder.
• A lição: Exigir provas fez os robôs serem mais cautelosos. Eles responderam menos vezes, mas quando responderam, muitas vezes estavam mais certos. É como um detetive que prefere dizer "não sei" a dar uma resposta errada.

C. A Pegadinha: "Cópia Correta" não significa "Lógica Correta"
Aqui está a parte mais interessante. O robô conseguiu copiar a frase do texto (prova mecânica), mas às vezes essa frase não justificava a resposta que ele deu.

• Analogia: Imagine que você pergunta ao robô: "Por que o céu é azul?" e ele copia do livro: "O céu é azul porque o sol é quente". A frase está no livro (cópia correta), mas não faz sentido como resposta (lógica errada).
• Os pesquisadores usaram um "juiz" (outro robô) para ler a resposta e a prova. Descobriram que, em muitos casos, a prova não sustentava a conclusão.

D. Robôs Diferentes, Comportamentos Diferentes
Nem todos os robôs reagiram igual:

• O Robô A (GPT) e o Robô B (Gemini) ficaram um pouco melhores quando tiveram que mostrar o trabalho.
• O Robô C (Claude) ficou um pouco pior e mais confuso.
• Analogia: É como pedir para três alunos diferentes fazerem uma prova com e sem consulta. Um melhora, outro piora, e o terceiro fica nervoso. Cada um tem sua própria "personalidade".

3. A Conclusão Prática: O Filtro de Confiança

O estudo sugere uma nova maneira de usar esses robôs na medicina: O Sistema de "Filtro Duplo".

Em vez de confiar cegamente em qualquer resposta do robô, podemos criar um sistema onde:

1. O robô dá a resposta e a prova.
2. Um segundo robô (o juiz) verifica se a prova faz sentido.
3. Se a prova for boa: A resposta é enviada para o médico (alta confiança).
4. Se a prova for ruim ou inexistente: A resposta é bloqueada e enviada para um humano revisar.

Resumo em uma frase:
Exigir que os robôs "mostrem o trabalho" (copiando o texto original) não garante que eles estejam sempre certos, mas cria um rastro de auditoria. Isso nos permite separar as respostas que podemos confiar automaticamente daquelas que precisam de um olho humano, trocando um pouco de quantidade (menos respostas automáticas) por muito mais qualidade e segurança.

É como ter um assistente que, em vez de apenas dar o nome do remédio, mostra a receita do médico que o prescreveu. Se a receita não estiver lá ou não fizer sentido, você sabe que precisa chamar o médico de verdade antes de tomar a decisão.

Resumo técnico

Título: Mostre seu Trabalho: Evidência Verbal e Avaliação Automatizada para Grandes Modelos de Linguagem no Processamento de Texto Biomédico

Autores: Paul Windisch et al. (Departamento de Oncologia Radioterápica, Suíça)

---

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão cada vez mais utilizados no processamento de texto biomédico, como na triagem de elegibilidade para ensaios clínicos. No entanto, existe uma lacuna crítica entre a precisão final da tarefa e a confiabilidade da decisão individual.

• Falta de Auditabilidade: As decisões dos LLMs são frequentemente "caixas-pretas", dificultando a verificação de se uma classificação foi baseada no texto fornecido ou em alucinações/conhecimentos externos.
• Risco de Alucinação: Em tarefas de alto risco, como a medicina, os modelos podem gerar respostas fluentes e confiantes, mas sem suporte factual ou com referências bibliográficas fabricadas.
• Necessidade de Verificação: A literatura atual foca excessivamente na acurácia, negligenciando a transparência e a verificação mecânica de que a evidência citada realmente sustenta a conclusão.

2. Metodologia

O estudo avaliou se a imposição de um requisito de "mostre seu trabalho" (fornecer uma citação textual exata) melhora a auditabilidade e a confiabilidade na classificação da elegibilidade de ensaios clínicos oncológicos.

• Dados:

  • 200 ensaios clínicos randomizados (RCTs) de oncologia (2005-2023) de grandes revistas médicas.
  • Entrada: Apenas título e resumo (sem texto completo).
  • Tarefa: Classificar se o ensaio permite a inclusão de pacientes com doença localizada, metastática, ambas, ou se é incerto (NEITHER/UNCLEAR).
  • Ground Truth: Anotação manual feita por especialistas, utilizando o texto completo para resolução de ambiguidades, servindo como referência absoluta.

• Modelos Testados:

  • Três modelos de ponta (flagship): GPT-5.2, Gemini 3 Flash e Claude Opus 4.5.
  • Configuração: "Out-of-the-box" (configurações padrão, sem ajuste de fine-tuning ou ensembles).

• Condições Experimentais:

  1. Apenas Rótulo (Baseline): O modelo deve fornecer apenas a classe de elegibilidade.
  2. Rótulo + Evidência Verbal: O modelo deve fornecer o rótulo e uma citação exata (verbatim) do resumo que suporte a decisão.
     • Restrição Mecânica: A citação deve ser um substring exato do texto original (após normalização de espaços).
  • Repetição: Cada condição foi executada 3 vezes por amostra para medir estabilidade.

• Validação e Métricas:

  • Validação Mecânica: Verificação automática de se a citação é um substring exato do resumo.
  • Validação Semântica (Judge Step): Um segundo LLM (atuando como juiz) avaliou se a citação fornecida realmente sustentava semanticamente o rótulo atribuído.
  • Métricas: Cobertura (taxa de respostas não "incertas"), Acurácia, Macro-F1, Estabilidade (Kappa de Fleiss) e Similaridade de Jaccard das citações.

3. Principais Contribuições

• Operacionalização da "Citação de Entrada": Propõe uma alternativa mecânica e verificável às citações bibliográficas (que são propensas a alucinação), exigindo que o modelo cite o próprio texto de entrada como evidência.
• Análise de Trade-off Cobertura vs. Confiabilidade: Demonstra empiricamente como a exigência de evidência altera o comportamento dos modelos, criando um subconjunto de previsões de "alta confiança" que pode ser automatizado com segurança, enquanto as demais são roteadas para revisão humana.
• Validação de Estabilidade de Evidência: Introduz a métrica de estabilidade das citações (não apenas dos rótulos), mostrando que modelos podem ser estáveis na decisão, mas instáveis na justificativa textual.
• Pipeline de Julgamento Automatizado: Demonstra o uso de um segundo LLM para filtrar previsões baseadas na qualidade semântica da evidência, aumentando a precisão do conjunto restante.

4. Resultados Chave

• Impacto na Cobertura: A exigência de evidência reduziu modestamente a cobertura (taxa de respostas válidas), pois os modelos abstiveram-se mais frequentemente quando não encontraram evidência clara no resumo.
  • Exemplo: GPT-5.2 caiu de 86,2% para 84,3%; Gemini de 98,3% para 92,8%.
• Desempenho (Macro-F1):
  • GPT-5.2 e Gemini: O F1 condicional aumentou ligeiramente ou manteve-se estável com a exigência de evidência.
  • Claude Opus 4.5: Houve uma diminuição estatisticamente significativa no F1 (de 0,828 para 0,777) e na acurácia, indicando que a restrição mecânica prejudicou seu desempenho neste modelo específico.
• Validade Mecânica vs. Semântica:
  • A maioria das citações foi mecanicamente válida (83-91% das vezes).
  • No entanto, apenas 48% a 78% das previsões com citações foram julgadas como semanticamente suportadas pelo "Judge LLM". Isso revela que ter uma citação exata não garante que ela justifique a decisão.
• Estabilidade:
  • Os rótulos foram altamente estáveis (Kappa > 0,82).
  • As citações variaram significativamente entre execuções, especialmente no Gemini (Jaccard de 0,66), sugerindo que o "rastro de auditoria" pode ser frágil.
• Filtragem por Julgamento: Ao restringir a análise apenas às previsões onde o "Judge" confirmou a evidência semântica, o Macro-F1 aumentou substancialmente para todos os modelos (ex: GPT-5.2 subiu para ~0,95), às custas de uma cobertura ainda menor.

5. Significado e Conclusão

O estudo conclui que exigir evidência verbatim e mecanicamente verificável é uma estratégia viável para aumentar a auditabilidade e a confiança em pipelines de processamento de texto biomédico, mas não é uma solução mágica para a precisão.

• Trade-off: Existe uma troca clara entre cobertura e confiabilidade. A exigência de evidência força os modelos a serem mais conservadores, reduzindo erros de alucinação, mas também reduzindo o número de casos processados automaticamente.
• Dependência do Modelo: O impacto da restrição varia drasticamente entre fornecedores (GPT e Gemini se beneficiaram ou mantiveram desempenho; Claude sofreu degradação).
• Aplicação Prática: A abordagem sugere um fluxo de trabalho híbrido:
  1. O LLM gera previsão + evidência.
  2. Um verificador (mecânico ou outro LLM) valida a evidência.
  3. Previsões com evidência validada são automatizadas (alta confiança).
  4. Previsões sem evidência ou com evidência fraca são roteadas para revisão humana.

Este trabalho oferece um framework para mover a avaliação de LLMs biomédicos além da simples acurácia, focando na rastreabilidade e na segurança das decisões individuais, essencial para aplicações clínicas reais.