Resumo Técnico: CECoR (Correção de Erros Composicional via Síntese Consciente de Raciocínio)

1. Definição do Problema

A Correção de Erros Factuais (FEC) visa revisar textos imprecisos em declarações consistentes com evidências externas. Embora métodos recentes performem adequadamente em correções de um único salto, eles lutam com erros factuais de múltiplos saltos. Paradigmas existentes, como "Mascarar-Então-Corrigir" e "Mascarar-Então-Corromper", dependem de uma Hipótese de Fato Atômico implícita: eles tratam afirmações como unidades planas e não decompostas, onde erros são localizados em entidades únicas ou trechos curtos.

Essa hipótese falha para afirmações de múltiplos saltos, onde as condições de verdade estão distribuídas ao longo de cadeias de raciocínio envolvendo múltiplas peças de evidência. Erros do mundo real nesses contextos frequentemente exibem características não locais e estruturalmente complexas (por exemplo, substituições coordenadas de entidades ou violações de restrições temporais/relacionais) que não podem ser capturadas por mascaramento de trechos superficiais independentes. Além disso, a escassez de conjuntos de dados pareados em grande escala e de padrão-ouro (pares de afirmação incorreta–correta) dificulta o treinamento de modelos de correção robustos.

2. Metodologia: O Framework CECoR

Os autores propõem o CECoR (Correção de Erros Composicional via Síntese Consciente de Raciocínio), um framework que aborda a correção de múltiplos saltos através de um paradigma de Decomposição e Injeção. O framework opera em três fases principais:

A. Decomposição de Afirmações de Múltiplos Saltos

Em vez de tratar uma afirmação como uma string plana, o CECoR decompõe afirmações de múltiplos saltos verificadas (corretas) em programas de raciocínio interpretáveis e passo a passo. Inspirado por raciocínio guiado por programas, um planejador gera uma sequência de passos lógicos $P = [S_1, S_2, ..., S_k]$, categorizados em:

1. PERGUNTA: Consultas para extrair fatos atômicos de evidências.
2. VERIFICAR: Verificações binárias contra fatos recuperados.
3. PREVER: Composições lógicas de passos anteriores para formar conclusões.

Essa transformação torna explícita a estrutura de raciocínio latente, fornecendo um substrato para injeção controlada de erros.

B. Injeção de Erros Consciente de Raciocínio

O CECoR sintetiza pares de treinamento de alta qualidade injetando perturbações factuais controladas no programa de raciocínio decomposto:

• Estratégia: Erros são injetados em apenas um passo ($S_j$) por vez para prevenir inconsistências em cascata descontroladas, enquanto garantem coerência semântica ao recompor.
• Mecanismos:
  • Passos PREVER: Substituir uma entidade compartilhada por uma alternativa semanticamente plausível, mas incorreta.
  • Passos VERIFICAR: Substituir uma unidade factual por uma variante incorreta ou reescrever a afirmação em sua forma negada.
  • Passos PERGUNTA: Substituir a resposta correta por uma plausível, mas incorreta, e ajustar a pergunta de acordo.
• Recomposição: O passo modificado é recomposto com os passos originais para gerar uma afirmação de múltiplos saltos fluente, estruturalmente fundamentada, porém factualmente incorreta.

C. Filtragem e Aprendizado em Duas Etapas

• Filtragem: Para garantir a confiabilidade do treinamento, os pares sintéticos gerados passam por um filtro de múltiplas etapas. Os pares retidos devem satisfazer critérios relacionados a comprimento, fluência (perplexidade), integridade de múltiplos saltos (requerendo $\ge$2 passos de raciocínio) e inconsistência factual confirmada contra a evidência.
• Ajuste Fino Supervisionado (SFT): O modelo é primeiro treinado nos pares sintéticos filtrados $(M_{incorreto}, M_{correto})$ para aprender padrões de erros composicionais.
• Aprendizado por Reforço (RL): Para melhorar a robustez contra distribuições de erros do mundo real, o modelo passa por uma segunda etapa usando afirmações incorretas de ocorrência natural (de conjuntos de dados como REFUTES). O objetivo de RL maximiza uma função de recompensa equilibrando:
  1. Consistência Factual ($S_{correto}$): Alinhamento com evidências.
  2. Semelhança Semântica ($S_{sim}$): Preservação da intenção da afirmação original.
  3. Fluência ($S_{flu}$): Corretude gramatical.

3. Contribuições Principais

1. Análise de Limitações: O artigo identifica a "Hipótese de Fato Atômico" em métodos FEC anteriores como um gargalo fundamental para a correção de múltiplos saltos, onde erros são acoplados através de passos de raciocínio em vez de isolados.
2. Framework CECoR: A introdução de um paradigma de decomposição e injeção que alavanca o raciocínio guiado por programas para sintetizar dados de treinamento composicionais de alta fidelidade sem exigir anotações manuais.
3. Estratégia de Treinamento e Avaliação:
   • Um pipeline SFT + RL em duas etapas que combina supervisão sintética com alinhamento de erros do mundo real.
   • Um protocolo de avaliação que suplementa métricas de forma superficial (SARI, ROUGE) com avaliação baseada em LLM para capturar melhor a correção semântica e o suporte de evidências, abordando as limitações de métricas baseadas em referência que podem recompensar excessivamente saídas conservadoras.

4. Resultados Experimentais

Experimentos foram conduzidos em benchmarks de múltiplos saltos (HOVER, FEVEROUS) e em um conjunto de dados de único salto (FECDATA).

• Desempenho: O CECoR alcança desempenho state-of-the-art em benchmarks de múltiplos saltos, superando tanto baselines supervisionadas distalmente (LIFE, VENCE) quanto baselines de Modelos de Linguagem Grandes (LLM) com poucos exemplos (GPT-4o, LLaMA3).
• Nuance de Métricas: Embora métricas de forma superficial às vezes favoreçam baselines "Não-Fazer-Nada" ou edições conservadoras, a avaliação baseada em LLM confirma que as variantes aprimoradas por RL do CECoR (especificamente CECoR-RL) produzem correções semanticamente superiores que alinham com preferências humanas.
• Generalização:
  • Transferência de Único Salto: Modelos treinados exclusivamente em dados de múltiplos saltos generalizam efetivamente para tarefas de correção de único salto (FECDATA), superando baselines treinadas em dados de único salto.
  • Robustez: O CECoR mantém desempenho forte quando treinado e testado com evidências recuperadas (ruidosas), enquanto baselines como LIFE frequentemente falham em gerar dados sintéticos válidos sob condições ruidosas.
• Ablação: O pipeline de filtragem é mostrado como crítico; removê-lo leva a quedas significativas de desempenho, particularmente em pontuações SARI-Add e avaliações baseadas em LLM.

5. Significado e Alegações

O artigo alega que o CECoR representa uma mudança de tratar afirmações factuais como sequências de texto planas para modelá-las como programas de raciocínio estruturados. Ao expor explicitamente passos intermediários de raciocínio, o framework permite:

• Supervisão Escalável: Geração de pares de treinamento diversos e de alta qualidade a partir de afirmações corretas não pareadas, aliviando o gargalo da escassez de dados.
• Raciocínio Composicional: A capacidade de corrigir erros complexos e não locais que envolvem restrições relacionais e temporais através de múltiplas fontes de evidência.
• Aplicabilidade Prática: A robustez do modelo a evidências ruidosas e sua capacidade de transferir entre domínios (de múltiplos saltos para único salto) sugerem forte potencial para implantação no mundo real em correção de desinformação e sistemas de IA confiáveis.

Os autores concluem que sua abordagem produz modelos de correção que são mais interpretáveis, generalizáveis e robustos para tarefas complexas de revisão factual em comparação com métodos anteriores que dependem de mascaramento em nível de trecho.