Resumo Técnico: Você está Falando Lógica Comigo? Avaliando as Capacidades de Raciocínio Silogístico de Modelos de Linguagem

Declaração do Problema

Os Modelos de Linguagem (LMs) atualmente enfrentam dificuldades com tarefas lógicas, particularmente o raciocínio silogístico, que exige pensamento abstrato e consistência. Embora a Representação de Conhecimento (KR) tenha demonstrado auxiliar os modelos ao fornecer formatos de entrada inequívocos e interpretáveis (como a Lógica de Primeira Ordem ou FOL), a pesquisa existente limita-se amplamente à avaliação em Linguagem Natural (NL) e FOL. Os conjuntos de dados atuais frequentemente sofrem com questões relativas ao envolvimento humano, tamanho, diversidade e generalização. Além disso, o impacto de diferentes níveis de abstração em notações de KR — variando do natural ao altamente simbólico — sobre as capacidades de raciocínio de Pequenos Modelos de Linguagem (SLMs) permanece subexplorado. Adicionalmente, o potencial benefício de categorizar explicitamente os silogismos para guiar o raciocínio não foi sistematicamente integrado às estratégias de prompting.

Metodologia

Os autores propõem um protocolo abrangente para abordar essas lacunas, centrado no framework Common Logic Grammar Construction (CLGC).

1. O Framework CLGC

O CLGC é uma biblioteca Python de código aberto projetada para gerar automaticamente silogismos em várias notações formais e classificá-los.

• Processo de Geração: O sistema parte de silogismos em FOL (definidos por uma gramática Backus-Naur Form) . Ele gera uma Árvore de Sintaxe Abstrata (AST) e reconstrói as afirmações em notações alvo usando gramáticas BNF implementadas manualmente para cada alvo.
• Seleção de Notação: O estudo avalia as notações com base em quatro critérios: Verbosidade (variações sintáticas), Frequência (probabilidade de exposição durante o pré-treinamento do LM), Abstração (complexidade do natural ao simbólico) e Finitude (gramática definível).
• Notações Suportadas: O framework suporta:
  • Suíte CL: Common Logic Interchange Format (CLIF) e Conceptual Graph Interchange Format (CGIF).
  • Álgebra Plus-Minus: Tensor Functor Logic Plus (TFLPLUS).
  • Programação de Conjuntos de Respostas: CLINGO.
  • MINIFOLx: Uma família de variantes leves de FOL introduzidas como um baseline para testar a sensibilidade à frequência. Elas substituem símbolos padrão de FOL por palavras mais comuns ou operadores mais simples (ex: substituir $\forall$ por "all", $\neg$ por "not").

2. Estrutura de Avaliação de Silogismos (SEF)

Os autores utilizam o método de categorização SEF para classificar os silogismos em quatro categorias estruturais: Hipotético (implicação), Disjuntivo (disjunção), Categórico (padrão de 2 premissas) e Complexo. Estas categorias são detectadas automaticamente e utilizadas para enriquecer os prompts de Zero-Shot (ZS).

3. Datasets e Configuração Experimental

• Datasets: O estudo estende os datasets FOLIO e P-FOLIO, curados por humanos. Usando o CLGC, os autores criaram o FOLIO-KR e o P-FOLIO-KR, que incluem os silogismos originais traduzidos para as várias notações formais e anotados com as categorias SEF.
• Modelos: Os experimentos focam em SLMs devido à sua frugalidade e relevância para o raciocínio em ambientes de recursos limitados.
  • Ajuste Fino Supervisionado (SFT): Flan-T5-small e Flan-T5-large.
  • Zero-Shot (ZS): Gemma-2-2b-it, Llama-3.2-3b-instruct e Phi-3.5-mini-instruct.
• Cenários:
  • SFT: Os modelos são treinados em premissas e conclusões em uma notação específica para prever rótulos de verdade (Verdadeiro, Falso, Desconhecido).
  • Cenário ZS 1: Os modelos são instigados com o silogismo e a gramática BNF da notação.
  • Cenário ZS 2: Os modelos são instigados com o silogismo, a gramática, a definição da categoria SEF do silogismo e um exemplo.

Principais Resultados

Ajuste Fino Supervisionado (SFT)

• Impacto da Notação: O desempenho é altamente dependente da interação entre o tamanho do modelo, o tamanho do dataset e a abstração da notação.
  • No P-FOLIO-KR (dataset menor), o Flan-T5-small teve melhor desempenho em notações abstratas como TFLPLUS e combinações (CLIF + TFLPLUS), superando significativamente a Linguagem Natural. Os autores hipotetizam que a simplicidade dos tokens do TFLPLUS (ex: +, -) auxilia o aprendizado em modelos pequenos com dados de treinamento limitados.
  • No FOLIO-KR (dataset maior), a Linguagem Natural (NL) e o CLIF tornaram-se os principais desempenhadores para ambos os tamanhos de modelo. O aumento no volume de dados permitiu que os modelos aprendessem melhor as notações complexas, mas notações abstratas como TFLPLUS tiveram dificuldades, possivelmente devido à dependência de tokens simbólicos menos frequentes.
• Escalabilidade do Modelo: Geralmente, o desempenho aumentou com o tamanho do modelo, independentemente da abstração. No entanto, FOL e notações altamente abstratas mostraram tendências de crescimento diferentes em comparação com NL e CLIF.
• Raciocínio Conservador: Combinar NL com CLIF (NL + CLIF) deslocou o comportamento do modelo para um raciocínio "conservador". Esta combinação melhorou a previsão de casos Desconhecidos (inconclusivos) e reduziu alucinações (previsões incorretas de "Verdadeiro"), sugerindo que notações compactas ajudam os modelos a lidar melhor com a incerteza e com o raciocínio por refutação.

Zero-Shot (ZS)

• Prompting com Categorias: Adicionar definições de categorias SEF (Cenário 2) geralmente melhorou o desempenho para modelos como Gemma e Phi, particularmente em notações do tipo NL. No entanto, para alguns modelos (ex: Llama) ou notações abstratas, as descrições adicionadas às vezes diminuíram o desempenho ou tiveram efeitos negligenciáveis.
• Sensibilidade do Modelo:
  • Gemma (pré-treinamento pesado em texto) destacou-se com NL e CLIF.
  • Phi (pré-treinamento em lógica/matemática) mostrou melhor adaptabilidade a notações abstratas como CLINGO quando fornecida com descrições de categoria.
  • Llama (dados da web destilados) mostrou resiliência a tokens simbólicos em notações do tipo FOL.
• Velocidade de Inferência: As notações de KR demonstraram tempos de inferência mais rápidos do que a NL. O TFLPLUS foi o mais rápido devido à sua sintaxe compacta, enquanto a NL foi a mais lenta. O CLIF ofereceu um compromisso favorável entre velocidade e desempenho.

Significância e Alegações

O artigo reivindica três contribuições primárias para o campo do raciocínio lógico na IA:

1. Framework e Ferramental: A introdução do CLGC, a primeira biblioteca Python para gerar automaticamente silogismos em diversas notações de KR e definir suas categorias SEF, permitindo pesquisa reprodutível neste domínio.
2. Expansão de Dados: O lançamento de FOLIO-KR e P-FOLIO-KR, datasets enriquecidos que permitem a avaliação de LMs através de um espectro de diversas notações formais e estruturas lógicas.
3. Insights Empíricos: O estabelecimento de tendências mostrando que:
   • A escolha da notação de entrada impacta significativamente o desempenho de SLMs, não havendo uma única notação universalmente superior; a escolha ideal depende do tamanho do modelo, do paradigma de treinamento (SFT vs. ZS) e da escala do dataset.
   • Combinações de notações (ex: NL + CLIF) podem refinar o raciocínio, especificamente melhorando a capacidade do modelo de identificar incertezas e realizar o raciocínio por refutação.
   • Definições lógicas (categorias SEF) em prompts podem impulsionar o raciocínio, mas sua eficácia é contingente aos dados de pré-treinamento do modelo e ao nível de abstração da notação.

Os autores concluem que, embora os SLMs possam performar bem em tarefas de raciocínio com a notação correta, a dicotomia entre notações naturais e abstratas sugere um direcionamento futuro para arquiteturas neuro-simbólicas que combinem ambas em pipelines de múltiplos estágios para alcançar um raciocínio complexo e robusto.