Resumo Técnico: DECOMPOSERL

Declaração do Problema

A verificação automatizada de alegações enfrenta um compromisso fundamental entre precisão e interpretabilidade. As abordagens atuais geralmente se enquadram em duas categorias:

1. Classificadores de ponta a ponta: Estes alcançam alta precisão em benchmarks, mas operam como "caixas pretas", emitindo um veredito sem fornecer traços inspecionáveis de como a conclusão foi alcançada. Essa opacidade é problemática em domínios de alto risco, como triagem biomédica, verificação de fatos políticos e revisão por pares científica, onde os usuários exigem visibilidade sobre quais partes de uma alegação foram verificadas e por quê.
2. Métodos baseados em decomposição: Estes quebram alegações em subperguntas atômicas para gerar traços inspecionáveis. No entanto, frequentemente ficam atrás dos classificadores de ponta a ponta em desempenho. Os métodos de decomposição existentes dependem de prompts frágeis ou aprendizado de imitação caro (ajuste fino em decomposições de ouro) sem um sinal de treinamento que meça a real adequação da decomposição para a tarefa de verificação.

Metodologia

Os autores propõem o DECOMPOSERL, um framework de aprendizado por reforço (RL) que treina uma política para decompor alegações em perguntas úteis, informativas e diversas, produzindo tanto alta precisão quanto traços auditáveis.

1. Funil de Curadoria de Dados

Para abordar o custo proibitivo de treinar políticas de RL em grandes corpora ruidosos, os autores projetaram um funil de curadoria de dados em múltiplos estágios. Começando com 155 mil alegações em 14 corpora heterogêneos, eles destilaram um subconjunto compacto e denso em sinais de aprendizado de 5.464 alegações (4% dos dados originais). As etapas de filtragem incluem:

• Filtragem baseada em regras: Remoção de alegações com comprimento de evidência insuficiente, sobreposição lexical trivial ou menos de duas entidades nomeadas.
• Filtragem baseada em dificuldade: Uso de um verificador MiniCheck-7B para reter apenas alegações onde o modelo está incerto (confiança $0,3 \le p \le 0,8$), garantindo que os dados de treinamento contenham desafios de raciocínio não triviais.
• Deduplicação e Descontaminação: Remoção de quase-duplicatas via MinHash e similaridade cosseno para evitar vazamento de dados e garantir diversidade.
• Decomposição Prateada: Geração de decomposições "prateadas" (pseudo-rotuladas) usando GPT-5-mini para as alegações restantes.
• Seleção de Diversidade: Uso de um objetivo de Localização de Instalação (maximização submodular) para selecionar um subconjunto final que maximize a cobertura do espaço de incorporação, garantindo que o conjunto de treinamento represente a distribuição completa de tipos de alegações.
• Aumento de Evidência Longa: Adição de alegações com contextos de evidência longos para evitar deslocamento de distribuição durante a avaliação.

2. Framework de Aprendizado por Reforço

O DECOMPOSERL enquadra a verificação de alegações como um problema iterativo de decomposição de Pergunta-Resposta (QA). A política ($\pi_\theta$), baseada no Qwen2.5-7B-Instruct, gera um traço estruturado consistindo em uma análise inicial, $n$ ciclos de pergunta-resposta e um veredito final (SUPPORTED ou REFUTED).

A política é treinada usando Otimização de Política Relativa de Grupo (GRPO) com um novo conjunto de recompensas multifacetadas. Diferentemente de trabalhos anteriores que dependem de uma única recompensa de resultado, o DECOMPOSERL otimiza sete sinais complementares:

1. Formato ($R_{fmt}$): Garante a adesão ao esquema de saída estruturada baseada em XML.
2. Verificação ($R_{ver}$): Ancora a política ao veredito de verdade fundamental (apenas para dados rotulados).
3. Contagem de Perguntas ($R_{qc}$): Penaliza desvios do número ideal de subperguntas.
4. Diversidade ($R_{div}$): Usa Relevância Marginal Máxima (MMR) em incorporações para penalizar perguntas redundantes.
5. Cobertura ($R_{cov}$): Um LLM como juiz avalia se o conjunto de respostas sozinho pode reconstruir o veredito correto.
6. Necessidade via Leave-One-Out ($R_{nec}$): Um componente crítico onde o juiz determina se remover uma pergunta específica altera o veredito. Perguntas que são necessárias (removê-las inverte o veredito) recebem recompensas altas; perguntas prejudiciais (aquelas que induzem o veredito ao erro) recebem recompensas negativas.
7. Qualidade Multiplicativa Conjunta ($R_{joint}$): Uma recompensa multiplicativa combinando Respondibilidade, Atomicidade (foco único, sem conjunções) e Correção. Isso garante que uma única falha em qualquer dimensão reduza a pontuação da pergunta a zero.

3. Aprendizado Semi-supervisionado

Para abordar a escassez de dados rotulados de ouro, o DECOMPOSERL suporta treinamento semi-supervisionado. Para alegações não rotuladas:

• A Cobertura é aproximada via autoconsistência: A votação majoritária de $G$ execuções serve como um pseudo-rotulo.
• A Necessidade é computada em relação ao veredito reconstruído pela própria política, em vez de uma verdade fundamental.
• A recompensa de Verificação é descartada para dados não rotulados, enquanto as outras recompensas permanecem agnósticas a rótulos.

Contribuições Principais

1. Conjunto de Recompensas Multifacetadas: Um sistema de recompensa inovador que captura a qualidade da decomposição em múltiplas dimensões (necessidade, cobertura, diversidade, atomicidade) usando uma combinação de regras determinísticas, métricas baseadas em incorporações e avaliações de LLM como juiz.
2. Capacidade Semi-supervisionada: Um mecanismo de autoconsistência que permite ao modelo aprender de alegações não rotuladas aproveitando o acordo intra-prompt, tornando a abordagem viável para domínios com anotações caras.
3. Curadoria de Dados Eficiente: Um funil de destilação que reduz os requisitos de dados de treinamento em ~96% (de 155 mil para ~5,5 mil alegações) enquanto aumenta a densidade de sinais, permitindo treinamento eficaz de RL com computação limitada.
4. Desempenho e Escalabilidade: Demonstrando que um modelo de 7 bilhões de parâmetros treinado com este framework pode igualar ou superar o desempenho de modelos significativamente maiores (32B) e modelos de fronteira proprietários (GPT-4.1-mini), enquanto fornece traços inspecionáveis.

Resultados Experimentais

Os autores avaliaram o DECOMPOSERL em 11 benchmarks de verificação de alegações (9 in-domain, 2 out-of-domain), incluindo conjuntos de dados biomédicos, políticos e científicos.

• Precisão: O modelo DECOMPOSERL-7B alcançou 86,3% de precisão balanceada in-domain e 69,8% out-of-domain.
• Comparação com Baselines:
  • Superou todas as baselines baseadas em decomposição (ex: Decomposed Prompting, HiSS, ClaimDecomp) por margens significativas (+4,4% in-domain, +2,8% out-of-domain sobre a baseline mais forte).
  • Superou classificadores de ponta a ponta como MiniCheck-7B.
  • Igualou o desempenho de modelos de 32 bilhões de parâmetros e do modelo de fronteira GPT-4.1-mini em tarefas in-domain, apesar de ser 4x menor que a baseline de 32B e uma ordem de magnitude menor que o modelo de fronteira.
• Desempenho Semi-supervisionado: Quando treinado com apenas 10% de dados rotulados ($s=0,1$), o DECOMPOSERL-7B manteve uma precisão in-domain de 84,6% e out-of-domain de 69,7%, ainda superando todas as baselines de 7B.
• Estudos de Ablação: Remover a recompensa de Necessidade causou a maior queda no desempenho out-of-domain (-4,8%), destacando seu papel crítico na generalização. Remover Cobertura e Diversidade também impactou significativamente a robustez, confirmando a necessidade do conjunto completo para desempenho out-of-domain.

Significado e Alegações

O artigo afirma que o DECOMPOSERL conecta com sucesso a lacuna entre precisão e interpretabilidade na verificação de alegações. Ao enquadrar a decomposição como um problema de RL guiado por um conjunto de recompensas multifacetadas, os autores demonstram que:

• Rastreabilidade não precisa vir ao custo da precisão: O modelo produz traços de verificação passo a passo auditáveis sem sacrificar o desempenho em comparação com classificadores opacos.
• Eficiência de parâmetros: Alto desempenho pode ser alcançado com modelos menores (7B) se o sinal de treinamento (design de recompensa e curadoria de dados) for otimizado, em vez de depender exclusivamente da escala do tamanho do modelo.
• Escalabilidade para configurações de baixo recurso: A abordagem semi-supervisionada permite que o sistema se adapte a novos domínios onde anotações de padrão-ouro são escassas ou caras, usando autoconsistência para iniciar o aprendizado.

Os autores posicionam este trabalho como uma solução para a "lacuna de rastreabilidade" na verificação de fatos automatizada, oferecendo um método que é tanto preciso quanto transparente, adequado para aplicações de alto risco onde os usuários devem inspecionar o processo de raciocínio.