Resumo Técnico: Adjudicação de Livro-Razão de Evidências para Rastreabilidade de Alegação-Evidência

Declaração do Problema

A escrita assistida por IA acelera a geração de alegações, resumos e citações, mas cria um gargalo na verificação: os autores não conseguem verificar manualmente se cada alegação gerada é sustentada pela evidência citada ou recuperada. O texto fluente pode ser não sustentado, contradito ou apenas parcialmente estabelecido pela evidência que cita. Os fluxos de trabalho atuais frequentemente falham em identificar esses problemas até fases tardias do processo de revisão, afetando a clareza e a credibilidade dos manuscritos. O artigo aborda a necessidade de um mecanismo para rastrear alegações até seus pacotes de evidência durante a fase de redação, permitindo que os autores revisem alegações não sustentadas ou contraditórias antes da finalização.

Metodologia

Fluxo de Trabalho Central: Adjudicação de Livro-Razão de Evidências

O fluxo de trabalho proposto, denominado adjudicação de livro-razão de evidências (evidence-ledger adjudication), funciona como uma camada de rastreabilidade que processa uma alegação e seu respectivo pacote de evidência. O sistema realiza as seguintes etapas:

1. Entrada: Uma alegação e um pacote de evidência (contendo documentos ou sentenças recuperados).
2. Adjudicação: Um adjudicador (agente) analisa o pacote para atribuir exatamente uma das quatro relações de suporte normalizadas:
   • Suporta (Supports): A evidência estabelece a alegação.
   • Contradiz (Contradicts): A evidência conflita com a alegação.
   • Evidência Ausente (Missing Evidence): O pacote não estabelece a alegação.
   • Evidência Mista (Mixed Evidence): O pacote sustenta parte da alegação, mas desafia outra, ou contém evidências conflitantes.
3. Roteamento: Com base na relação atribuída, uma flag de rota de revisão do autor é gerada. Alegações rotuladas como contradiz, evidência ausente ou evidência mista são roteadas de volta ao autor para revisão, busca adicional ou remoção. Alegações rotuladas como suporta podem permanecer no rascunho.

Protocolo Experimental: Benchmark Cego

Para avaliar a generalizabilidade do fluxo de trabalho em diferentes domínios, os autores construíram um benchmark cego composto por 2.335 linhas derivadas de três conjuntos de dados externos rotulados de forma independente:

• AVeriTeC: Verificação de alegações do mundo real com evidência de pergunta-resposta.
• CLIMATE-FEVER: Alegações relacionadas ao clima com sentenças de evidência anotadas por humanos.
• SciFact: Alegações científicas com abstracts citados.

Design Cego: As relações "gold" (padrão-ouro) e os rótulos de evidência de origem são ocultados durante a fase de predição. Eles são unidos apenas para fins de pontuação. O benchmark normaliza os rótulos de todas as três fontes nas quatro relações do livro-razão de evidências.

• Dados de Ajuste (Tuning Data): Baselines não-agentes foram ajustados em 3.877 linhas rotuladas das fontes externas.
• Dados de Teste: A condição do agente foi avaliada no pacote cego de 2.335 linhas em 47 lotes, com validação de contagem de linhas e ordem das alegações para garantir a integridade.

Baselines

O estudo compara a condição Agente de Livro-Razão de Evidências contra três baselines:

1. Sempre Suportado (Always-Supported): Prediz que toda alegação é suportada (medindo o valor do roteamento).
2. Lexical-Ledger: Utiliza sobreposição lexical ajustada no treinamento e pistas de contradição.
3. TF-IDF Logistic: Um classificador multiclasse supervisionado leve treinado em texto de alegação/evidência.

Principais Contribuições

1. Definição de Fluxo de Trabalho: O artigo define um fluxo de trabalho de adjudicação de livro-razão de evidências que transforma pacotes de alegação/evidência em relações de suporte explícitas e rotas acionáveis de revisão do autor.
2. Protocolo de Avaliação Externa: Estabelece um protocolo de avaliação amplo usando AVeriTeC, CLIMATE-FEVER e SciFact, garantindo que as relações gold e os rótulos de origem permaneçam ocultos durante a predição para simular um ambiente de teste cego realista.
3. Validação Empírica: Demonstra que a condição de agente de livro-razão de evidências supera significativamente os baselines não-agentes (sempre-suportado, lexical e TF-IDF) em precisão de relação, macro-F1 e no recall de alegações que exigem atenção do autor.

Resultados

Desempenho Geral

No benchmark cego de 2.335 linhas, o Agente de Livro-Razão de Evidências alcançou:

• Precisão de Relação: 0,676 (1.579/2.335), comparado a 0,383 para o melhor baseline não-agente (TF-IDF logistic).
• Macro-F1: 0,601, comparado a 0,303 para o melhor baseline não-agente.
• Recall de Revisão Necessária: 0,885 (1.270/1.435), o que significa que o agente roteou com sucesso 88,5% das alegações que exigiam atenção do autor (contradição, evidência ausente ou mista).

Eficiência de Roteamento

O fluxo de trabalho filtra efetivamente a carga de trabalho do autor:

• Roteado para Revisão: 1.270 alegações (contradição, ausência, mista).
• Mantido no Rascunho: 605 alegações suportadas foram corretamente deixadas sem roteamento.
• Falsos Positivos: 295 alegações suportadas foram incorretamente roteadas para revisão (32,8% das alegações suportadas), indicando um compromisso onde o sistema prioriza capturar erros em vez de precisão perfeita nas alegações suportadas.

Detalhamento por Fonte e Rótulo

• Desempenho por Fonte: O agente teve melhor desempenho no AVeriTeC (0,844 de precisão) e no SciFact (0,853 de precisão). O desempenho foi menor no CLIMATE-FEVER (0,587 de precisão), o que os autores atribuem à complexidade de agregar múltiplas sentenças de evidência para alegações climáticas amplas.
• Desempenho por Rótulo:
  • Suporta/Contradiz: Alta precisão e recall (F1 ~0,72–0,79).
  • Evidência Ausente: Desempenho moderado (F1 0,599).
  • Evidência Mista: A categoria mais desafiadora (F1 0,289), servindo como um recorte diagnóstico para calibração futura.

Significância e Alegações

O artigo afirma que a adjudicação de livro-razão de evidências converte com sucesso pacotes de evidências heterogêneas em uma camada de rastreabilidade auditável para a escrita assistida por IA. A principal significância reside na capacidade do fluxo de trabalho de:

1. Transferir entre Domínios: Um único passo de adjudicação melhora o desempenho em diversos formatos de evidência (pares QA, abstracts, sentenças anotadas) sem necessidade de retreinamento específico para o domínio.
2. Permitir Feedback Acionável: Ao converter predições de relação em "flags de rota", o sistema fornece um mecanismo concreto para os autores gerenciarem o ciclo de redação, distinguindo entre alegações que estão prontas e aquelas que requerem revisão.
3. Melhorar Métricas de Verificação: A condição do agente melhora substancialmente os baselines tradicionais na identificação de alegações que precisam de atenção humana, abordando assim o gargalo onde textos fluentes, porém não sustentados, entram no pipeline de revisão.

Os autores posicionam este trabalho como uma intervenção na fase de redação que expõe relações de suporte enquanto os autores ainda podem revisar as alegações, as evidências ou a redação, em vez de uma ferramenta de verificação pós-hoc.