Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

Resumo Técnico: Modelos Híbridos para Raciocínio em Linguagem Natural

Declaração do Problema
Apesar dos avanços significativos em modelos neurais, sua capacidade de generalização permanece um gargalo crítico para aplicações de raciocínio lógico. A literatura atual frequentemente confunde dois aspectos distintos da generalização: composicionalidade e recursividade.

• Composicionalidade é definida aqui não como a construção "de baixo para cima" padrão de significado, mas como uma capacidade analítica "de cima para baixo": a habilidade de abstrair regras lógicas atômicas de estruturas complexas e aplicá-las a componentes mais simples.
• Recursividade é a capacidade de construir representações complexas através da aplicação iterativa de um conjunto finito de regras (por exemplo, estender uma cadeia transitiva).

Os autores argumentam que, embora os modelos possam ser recursivos (processando cadeias longas ao imitar padrões superficiais), eles frequentemente carecem de verdadeira composicionalidade (compreensão da combinação estrutural de elos individuais). Essa deficiência impede o raciocínio lógico robusto, particularmente quando modelos treinados em inferências complexas falham em identificar componentes subjacentes mais simples.

Metodologia
Para investigar essas capacidades, os autores utilizam a lógica silogística como um benchmark controlado. Este fragmento do raciocínio em linguagem natural é expressivo o suficiente para ser não trivial, mas computacionalmente tratável, ao contrário da lógica de primeira ordem completa.

1. Framework Formal: O estudo adota um sistema de prova silogística baseado em Smiley (1973), apresentando quatro tipos de quantificadores (A, E, I, O) e permitindo derivações a partir de premissas arbitrárias. O sistema é provado ser sólido e completo.
2. Componente Simbólico: Um provador automatizado não determinístico foi implementado. Ele tenta derivar uma hipótese $H$ a partir de uma base de conhecimento $KB$ usando:
   • Provas diretas baseadas em regras (triviais e baseadas em regras).
   • Prova por contradição (encontrar uma fórmula $F$ tal que $KB \cup \{H\} \vdash F$ e $KB \vdash \neg F$).
3. Componente Conexionista: Dois Grandes Modelos de Linguagem (LLMs) pré-treinados — FLAN-T5-base (codificador-decodificador) e GPT-4o-mini (apenas decodificador) — foram ajustados finamente em dados sintéticos para atuar como assistentes. Os dados consistem em bases de conhecimento representadas como grafos, convertidas para linguagem natural usando pseudopalavras para evitar viés de conteúdo.
   • Tarefa 1 (Seleção de Premissas): Prever um subconjunto mínimo de premissas $P \subseteq KB$ tal que $P \vdash H$.
   • Tarefa 2 (Prova por Contradição): Prever uma fórmula de refutação $F$ para facilitar uma prova de contradição.
4. Avaliação de Generalização: Os autores operacionalizaram a composicionalidade e a recursividade manipulando conjuntos de treinamento e teste com base nos comprimentos de cadeias A (o comprimento das inclusões transitivas):
   • Composicional (COM): Modelos treinados em cadeias longas são testados em cadeias curtas (deconstrução).
   • Recursivo (REC): Modelos treinados em cadeias curtas são testados em cadeias longas (construção).
   • Geral (OVE): Modelos treinados e testados em todos os comprimentos.

Principais Contribuições

1. Distinção Empírica: Uma demonstração rigorosa de que os LLMs possuem proficiência razoável em recursividade, mas lutam significativamente com composicionalidade. Modelos treinados em inferências complexas falham em generalizar para suas partes constituintes mais simples.
2. Restrições Estruturais: Uma descoberta teórica de que a generalização em modelos neurais é restringida pela estrutura lógica. O desempenho varia sistematicamente entre diferentes tipos de silogismo (por exemplo, o Tipo $\tau_2$, a inferência mais simples, é dominado, enquanto combinações complexas como $\tau_1$ e $\tau_5$ permanecem desafiadoras).
3. Arquitetura Híbrida: A proposta e avaliação de um framework neuro-simbólico onde componentes neurais auxiliam um provador simbólico. Os modelos neurais estreitam o espaço de busca ao prever premissas candidatas e fórmulas de contradição, enquanto o provador simbólico garante completude e correção lógica.

Resultados

• Disparidade de Generalização: No cenário Recursivo, os modelos performaram comparavelmente à linha de base geral, sugerindo que podem estender padrões para cadeias mais longas. No entanto, no cenário Composicional, o desempenho caiu substancialmente (por exemplo, a precisão do GPT na seleção de premissas caiu de ~94% em OVE-curto para ~76% em COM).
• Variabilidade Dependente do Tipo: O desempenho foi altamente dependente do tipo específico de silogismo. O Tipo $\tau_2$ (cadeia A única) alcançou precisão quase perfeita em todos os cenários, enquanto tipos que exigem múltiplas cadeias ou quantificadores mistos mostraram degradação significativa em tarefas composicionais.
• Análise de Erros:
  • Premissas Desnecessárias: Os modelos frequentemente incluíam premissas extras que não eram mínimas, mas ainda válidas, permitindo que o provador simbólico tivesse sucesso.
  • Premissas Fabricadas: Em casos de falha real, os modelos geraram premissas bem formadas, mas semanticamente incorretas, frequentemente confundindo tipos de silogismo com estruturas de hipótese semelhantes (por exemplo, tentando construir uma prova de $\tau_3$ para uma hipótese de $\tau_1$).
• Eficiência Híbrida: Os modelos híbridos reduziram significativamente o custo computacional do provador simbólico.
  • O provador simbólico puro exigiu uma média de $\approx 10^{5.7}$ passos.
  • Modelos híbridos com assistentes Geral ou Recursivo reduziram isso para $\approx 10^{2.4}$ passos (uma redução de três ordens de magnitude).
  • Mesmo com assistentes Composicionais (que tinham menor precisão), o sistema híbrido permaneceu robusto, exigindo apenas ligeiramente mais passos ($\approx 10^{2.7}$ a $10^{3.1}$) do que os assistentes de melhor desempenho, sem comprometer a solidez ou a completude da prova final.

Significado e Alegações
O artigo afirma que as limitações observadas no raciocínio neural não são meramente uma questão de escala, mas decorrem de uma incapacidade fundamental de realizar decomposição estrutural (composicionalidade) versus repetição de padrões (recursividade). Os autores postulam que os mecanismos de atenção dos transformadores podem naturalmente suportar o último, mas não o primeiro.

O significado do trabalho reside em demonstrar que modelos híbridos oferecem um caminho viável para frente. Ao alavancar redes neurais para redução eficiente do espaço de busca e raciocínio simbólico para garantias lógicas, é possível superar as barreiras de generalização de sistemas puramente neurais. O estudo sugere que essa abordagem modular é essencial para o desenvolvimento de provadores lógicos confiáveis, mesmo quando os componentes neurais são imperfeitos ou treinados em dados limitados. Os autores concluem que, embora a lógica silogística seja um fragmento simples, ela já revela limites não triviais para a generalização neural, motivando pesquisas futuras em fragmentos lógicos mais ricos e nas razões estruturais por trás da aprendibilidade.