Resumo Técnico: Raciocínio Abducativo com Senso Comum Probabilístico

1. Declaração do Problema

O artigo aborda as limitações das abordagens neurosimbólicas atuais para raciocínio em Modelos de Linguagem de Grande Escala (LLMs). Embora os métodos existentes traduzam com sucesso linguagem natural para lógica formal e utilizem solucionadores, eles frequentemente falham porque os solucionadores formais não têm acesso ao necessário conhecimento de senso comum do mundo (por exemplo, "branco é uma cor").

Tentativas anteriores de preencher essa lacuna (por exemplo, LLM-Tres, ARGOS) baseiam-se em um framework de raciocínio abducativo onde o LLM gera premissas ausentes ($L$) para que uma consulta ($c$) seja logicamente implicada pelo contexto ($S$). No entanto, esses métodos assumem implicitamente um senso comum monolítico: que existe um único conjunto de fatos $L$, universalmente aceito e concordado, que todos consideram verdadeiro.

Os autores argumentam que essa premissa é falha. Na realidade, as crenças de senso comum variam entre indivíduos. Duas pessoas podem discordar sobre uma consulta não devido a erros de raciocínio, mas porque mantêm conjuntos diferentes, porém defensáveis, de crenças de senso comum ($L_1$ vs. $L_2$) que levam a conclusões contraditórias. Além disso, assumir um senso comum monolítico torna difícil interpretar a probabilidade da verdade de uma proposição, reduzindo-a frequentemente a uma pontuação de confiança ininterpretável em vez de uma verdadeira probabilidade.

O Problema Central: Como determinar o valor de verdade de uma consulta $c$ dadas as premissas $S$ quando as suposições de senso comum necessárias não são universalmente aceitas, mas variam entre uma população de raciocinadores?

2. Metodologia: Senso Comum Abducativo Probabilístico (PACS)

Os autores propõem o PACS, um framework que modela o senso comum como uma distribuição probabilística sobre uma população de raciocinadores, em vez de um único conjunto estático de fatos.

2.1 Framework Teórico

Os autores definem a Probabilidade Abductiva de uma consulta $c$ ser verdadeira como o valor esperado sobre o conjunto de todos os humanos ($R$):
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
onde $L(R)$ representa o conjunto de crenças de senso comum mantidas pelo raciocinador $R$. Uma consulta é considerada "abducativamente verdadeira" se a maioria dos raciocinadores concluir que ela é verdadeira.

Como o vetor de crenças completo $L$ para qualquer indivíduo é inacessível, o método aproxima essa expectativa amostrando "pensamentos" individuais (declarações epistêmicas) sequencialmente.

2.2 O Algoritmo de Amostragem

O algoritmo trata a busca por uma prova como um processo de amostragem de elementos individuais de um vetor de crenças $L = (L_1, L_2, \dots, L_{|D|})$.

1. Amostragem pela Regra da Cadeia: O processo amostra crenças uma por uma usando a regra da cadeia: $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. Parada Antecipada: A amostragem não requer a geração do vetor de crenças completo. Ela para assim que as crenças acumuladas $\hat{l}$ combinadas com as premissas $S$ implicarem logicamente a consulta ($S \land \hat{l} \vdash c$) ou sua negação ($S \land \hat{l} \vdash \neg c$).
3. Otimização como MDP: Encontrar a ordem ótima para amostrar crenças a fim de minimizar o custo computacional (tempo de parada) é formulado como um Processo de Decisão de Markov (MDP).
   • Estado: O conjunto atual de crenças amostradas.
   • Ação: Selecionar a próxima proposição de crença para amostrar.
   • Recompensa: Minimizar o número esperado de passos futuros para alcançar uma conclusão.

2.3 Função de Pontuação Surrogada

Calcular a recompensa esperada exata requer conhecimento da distribuição completa $p(L)$, o que é intratável. Os autores derivam uma pontuação surrogada tratável baseada em contagem de modelos (o número de mundos possíveis que satisfazem a lógica).
A pontuação proposta para minimizar greedy é:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
Onde:

• $\#\sigma$ é o número de estados totalmente restringidos alcançáveis.
• $v$ é o número total de variáveis no problema.
• $b$ é o número de variáveis já restringidas.
  Esta pontuação aproxima a redução na incerteza, guiando a busca em direção às suposições de senso comum mais informativas.

2.4 Implementação

• LLM como Amostrador: O LLM atua como um amostrador condicional para a próxima proposição de crença $l_i$.
• Busca Tipo Feixe (Beam-like): O algoritmo amostra $n$ pensamentos candidatos em cada etapa, mas retém os $m$ caminhos com maior pontuação (uma variante de busca em feixe).
• Agregação: Diferentemente da busca em feixe padrão, que seleciona o único caminho de maior pontuação, o PACS agrega os resultados de todos os caminhos de busca concluídos. A resposta final é determinada por uma votação majoritária entre as conclusões desses caminhos diversos.

3. Principais Contribuições

1. Framework de Senso Comum Probabilístico: O artigo introduz uma definição formal de raciocínio abducativo que modela explicitamente a heterogeneidade das crenças de senso comum humanas, afastando-se da suposição de uma verdade monolítica.
2. Algoritmo PACS: Um algoritmo inovador que combina LLMs e solucionadores de lógica formal para amostrar caminhos de raciocínio diversos, utilizando contagem de modelos para guiar a busca por explicações mínimas.
3. Validação Empírica: Demonstração de que modelar a variação de crenças e agregar caminhos diversos leva a uma maior precisão do que métodos que assumem um único caminho de raciocínio "correto" ou dependem exclusivamente de pontuações de confiança de LLMs.

4. Resultados Experimentais

Os autores avaliaram o PACS em três conjuntos de dados: FOLIO (raciocínio lógico), CosmosQA e QUAIL (compreensão de texto convertida para verdadeiro/falso).

• Desempenho: O PACS superou a Cadeia de Pensamento (COT), Consistência Auto (SC) e métodos neurosimbólicos anteriores (LoT, LLM-Tres, ARGOS) no FOLIO e QUAIL.
  • No FOLIO, o PACS alcançou 88% de precisão (usando Llama 3.3 70B), comparado a 78% para o próximo melhor método neurosimbólico (ARGOS) e 73% para a COT.
  • No QUAIL, o PACS alcançou 91%, superando a linha de base heurística de busca em feixe (If-Beam) em 6%.
• Diversidade e Robustez: O PACS reduziu significativamente a porcentagem de problemas onde nenhum caminho de raciocínio correto foi encontrado (por exemplo, 3% no FOLIO versus 16% para o If-Beam). Isso indica que o PACS explora o espaço de soluções de forma mais eficaz.
• Comparação com Modelos "Pensantes": Mesmo ao usar um modelo menor e não "pensante" (Llama 3 8B), o PACS superou um modelo moderno "pensante" de 120B (GPT-OSS-120B) no FOLIO (82% vs 82% no QUAIL, mas 88% vs 82% no FOLIO), sugerindo que algoritmos de busca principistas podem ser mais eficazes do que apenas escalar o tamanho do modelo.
• Comprimento do Caminho: O PACS encontrou caminhos de raciocínio mais curtos (comprimento médio de 4,6 no FOLIO) em comparação com o If-Beam (6,7), indicando melhor planejamento e menos "superpensamento".

5. Significado e Alegações

O artigo afirma que o sucesso do PACS valida dois insights centrais:

1. A Heterogeneidade é Fundamental: Sistemas de raciocínio não devem perguntar "Qual é a resposta correta?", mas "O que a maioria das pessoas diria que é correto?". Isso requer somar sobre racionalidades de amostra diversas em vez de buscar uma única prova monolítica.
2. Busca Orientada a Objetivos: Os sistemas não devem perguntar "Quais são algumas afirmações verdadeiras?", mas "Quais afirmações verdadeiras me ajudarão a resolver este problema?". Isso necessita de uma estratégia de minimização (encontrar o caminho mais curto e direto) em vez de geração exaustiva.

Os autores concluem que seu framework, apesar de usar suposições relativamente ingênuas (por exemplo, distribuição uniforme de soluções), demonstra que projetar algoritmos de busca concretos e principistas é um caminho mais eficiente para melhorar as capacidades de raciocínio do que simplesmente ajustar finamente LLMs ou confiar em sua confiança implícita.

6. Limitações

Os autores reconhecem várias limitações:

• Suposição de Uniformidade: A derivação da pontuação surrogada assume um modelo uniforme para a distribuição de estados alcançáveis ($p(\sigma_i|l)$), o que é provavelmente irrealista.
• Erros de Tradução: O método depende de um LLM pré-treinado para traduzir linguagem natural para lógica. Erros nesta etapa de tradução introduzem ruído, notado particularmente no conjunto de dados CosmosQA, onde erros de tradução foram mais frequentes.
• Escopo: O artigo não explora o ajuste fino de um modelo dedicado de tradução lógica, nem propõe um modelo mais complexo para a distribuição de crenças, considerando esses tópicos fora do escopo atual.