Resumo Técnico: Aprendizado Neurosimbólico para Argumentação em Tempo de Inferência

Declaração do Problema

A verificação de alegações é uma tarefa crítica em domínios de alto risco, como saúde, finanças e descoberta científica. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial nessa área, a classificação binária padrão (Verdadeiro/Falso) é frequentemente insuficiente quando as informações subjacentes estão incompletas ou em conflito. Nesses casos, um veredito "Incerto" é mais apropriado do que uma decisão binária forçada. Além disso, em cenários de alto risco, as explicações para esses vereditos devem ser fiéis—o que significa que o processo de raciocínio deve refletir genuinamente os fatores que determinam a decisão final, em vez de depender de racionalizações post-hoc que podem não ser fiéis à lógica interna do modelo.

Abordagens existentes frequentemente tratam a argumentação como uma camada de explicação em tempo de inferência ou recorrem a LLMs prontos para gerar argumentos sem otimizá-los para a tarefa específica de verificação. Adicionalmente, muitas abordagens de aprendizado por reforço (RL) para raciocínio focam em tarefas com resultados verificáveis e determinísticos (por exemplo, matemática), falhando em abordar a incerteza inerente à verificação de alegações, onde os resultados podem ser ambíguos.

Metodologia: Argumentação em Tempo de Inferência (ITA)

Os autores introduzem a Argumentação em Tempo de Inferência (ITA), um framework neurosimbólico treinável projetado para verificação ternária de alegações (Verdadeiro, Falso, Incerto). Diferentemente de métodos anteriores que utilizam a argumentação apenas para explicação, a ITA integra semânticas de argumentação formal diretamente no loop de treinamento para orientar tanto a geração quanto a pontuação de argumentos.

Framework Central

O sistema opera sobre Frameworks de Argumentação Bipolar Quantitativos (QBAFs):

1. Geração de Argumentos: Um LLM (parametrizado por $\theta$) gera um conjunto de argumentos de suporte ($S_c$) e de ataque ($T_c$) para uma dada alegação $c$. A própria alegação é tratada como um argumento $a_c$.
2. Atribuição de Pontuação Base: Um Modelo de Pontuação Base (BSM) treinável (parametrizado por $\phi$) atribui uma força intrínseca (pontuação base) $\tau(a) \in [0, 1]$ a cada argumento gerado. A pontuação base da alegação é fixada em um prior neutro de 0,5.
3. Agregação Semântica: Uma função determinística de semântica de argumentação, DF-QuAD, agrega as pontuações base e as relações de suporte/ataque para calcular uma força argumentativa final $\hat{v}_c = \sigma(a_c)$ para a alegação.
4. Derivação do Veredito: A força final é mapeada para um veredito ternário usando limiares fixos:
   • Falso: $\hat{v}_c \leq 1/3$
   • Verdadeiro: $\hat{v}_c \geq 2/3$
   • Incerto: $1/3 < \hat{v}_c < 2/3$

Estratégias de Treinamento

A ITA emprega duas fases distintas de treinamento para otimizar os componentes:

1. Aprendizado Fracamente Supervisionado para Pontuações Base (BSM):

   • Fase de Priming: A cabeça de regressão do BSM é inicializada usando aprendizado supervisionado em triplos (alegação, argumento, pontuação base), onde as pontuações são geradas ao solicitar um LLM base.
   • Fase de Perda Semântica: O BSM é ajustado finamente usando uma função de perda neurosimbólica. A perda é o Erro Quadrático Médio (MSE) entre a força da alegação prevista (derivada via DF-QuAD) e o rótulo de verdade fundamental (mapeado para 0, 0,5 ou 1). Como o DF-QuAD é diferenciável, os gradientes podem ser retropropagados através das semânticas para atualizar o BSM.
   • Perdas Auxiliares: Para melhorar propriedades locais, os autores introduzem Perda de Consistência (minimizando a variância para argumentos semanticamente equivalentes) e Perda de Classificação (impondo uma ordenação pré-definida da qualidade dos argumentos).

2. Aprendizado por Reforço para Geração de Argumentos:

   • O gerador de argumentos é otimizado usando Otimização de Política Relativa em Grupo (GRPO).
   • Função de Recompensa: A recompensa é derivada da força final da alegação $\hat{v}_c$ produzida pelo BSM e pelo DF-QuAD. Ela fornece recompensa máxima para forças que caem dentro do intervalo de classificação correto (por exemplo, alta força para rótulos "Verdadeiro") e recompensas decrescentes linearmente à medida que a força se afasta do limiar correto. Isso transforma as semânticas de argumentação em um sinal de treinamento, incentivando o gerador a produzir argumentos que levam a vereditos corretos.

Contribuições Principais

1. Framework Neurosimbólico Treinável: A introdução da ITA, que expande o papel da argumentação de uma camada estática de explicação em tempo de inferência para uma interface de aprendizado dinâmica onde as semânticas orientam o treinamento do modelo.
2. Estratégias de Otimização: A proposta de duas estratégias de treinamento inovadoras:
   • Aprender pontuações base através de vereditos argumentativos a jusante, em vez de depender exclusivamente de pontuações estáticas de LLMs.
   • Utilizar semânticas formais de argumentação para gerar recompensas para aprendizado por reforço, otimizando a geração de argumentos para a tarefa específica de verificação de alegações.
3. Explicabilidade Fiel: Por construção, o veredito final é uma função determinística dos argumentos gerados, suas pontuações aprendidas e as semânticas. Isso garante que a explicação seja fiel ao processo de decisão, evitando as armadilhas de traços de raciocínio post-hoc.

Resultados Experimentais

Os autores avaliaram a ITA em dois conjuntos de dados de verificação ternária de alegações: TFU Evaluation Claims (derivado de StrategyClaim e DEBATunE) e AVeriTeC (alegações do mundo real). Eles compararam a ITA com baselines não argumentativas (previsão direta via SFT e GRPO) e baselines argumentativas (usando LLMs prontos para argumentos e pontuações).

• Desempenho:

  • Modelos de Pontuação Base: BSMs aprendidos superaram significativamente as baselines argumentativas que usavam pontuações constantes ou solicitadas. O BSM de melhor desempenho (treinado com argumentos gerados por GPT-5 com perdas semântica, de classificação e de consistência) alcançou 0,677 de precisão no TFU e 0,460 de precisão balanceada no AVeriTeC, superando todas as baselines fielmente explicáveis e competindo com as baselines de previsão direta mais fortes.
  • Geradores de Argumentos: O treinamento do gerador de argumentos via GRPO produziu resultados mistos, mas positivos, mostrando melhorias ligeiras sobre geradores não treinados quando acoplados a pontuações solicitadas, embora os ganhos fossem menos consistentes do que os obtidos com o treinamento do BSM.
  • Combinação: Combinar um gerador treinado com um BSM treinado não produziu melhorias aditivas sobre o melhor BSM isoladamente, sugerindo que o pontuador está calibrado para uma distribuição específica de argumentos.

• Propriedades Locais: O treinamento com perdas auxiliares melhorou significativamente a consistência das pontuações para argumentos parafraseados e a classificação de argumentos por qualidade, demonstrando que o framework pode aprender propriedades locais desejáveis além da simples precisão a jusante.

Significado e Alegações

O artigo alega que a ITA demonstra que semânticas formais de argumentação podem servir como um sinal de treinamento útil para LLMs, não apenas como uma regra de agregação em tempo de inferência. Ao integrar a argumentação no loop de treinamento, o sistema alcança desempenho competitivo com métodos de previsão direta, mantendo fidelidade procedimental—o veredito é explicitamente derivado de estruturas argumentativas inspecionáveis.

Os autores posicionam este trabalho como um passo em direção a uma IA mais transparente e confiável em domínios de alto risco, onde a capacidade de explicar por que uma alegação é incerta ou falsa é tão importante quanto a classificação em si. Eles reconhecem limitações, incluindo a falta de recuperação de evidências externas (os argumentos são gerados a partir do conhecimento do modelo) e a restrição a frameworks de argumentação de profundidade 1, notando essas questões como direções para trabalhos futuros.