FregeLogic at SemEval 2026 Task 11: A Hybrid Neuro-Symbolic Architecture for Content-Robust Syllogistic Validity Prediction

Resumo Técnico: FregeLogic

1. O Problema

O artigo aborda o desafio da predição de validade silogística no contexto de SemEval-2026 (Tarefa 11, Subtarefa 1). O problema central é o "efeito de conteúdo" (content effect): a tendência de modelos de linguagem (LLMs) de serem influenciados pela plausibilidade do mundo real (crença) ao invés de seguirem estritamente a estrutura lógica.

• Desafio: Modelos tendem a classificar silogismos como válidos se o conteúdo for "crível", mesmo que a lógica seja inválida, e vice-versa.
• Métrica: A tarefa utiliza uma pontuação combinada que recompensa alta precisão (accuracy) e baixo efeito de conteúdo (Content Effect - CE). O objetivo é maximizar a precisão lógica enquanto minimiza a viés semântico.

2. Metodologia: Arquitetura Híbrida Neuro-Simbólica

O sistema FregeLogic propõe uma arquitetura híbrida que combina a flexibilidade de LLMs com a rigorosidade de verificadores formais. A abordagem baseia-se na hipótese de que desacordos dentro de um ensemble de LLMs sinalizam casos onde o viés de conteúdo está interferindo no julgamento lógico.

A arquitetura consiste em três componentes principais:

A. Ensemble de Classificadores LLM

• Composição: Um ensemble de 5 classificadores, combinando 3 modelos de pesos abertos (Llama 4 Maverick, Llama 4 Scout e Qwen3-32B) com 4 estratégias de prompting distintas (Zero-shot, Few-shot, Few-shot CoT e Simple CoT).
• Seleção: As melhores combinações (modelo + prompt) são selecionadas via validação cruzada interna para maximizar a diversidade de erros não correlacionados.
• Votação: Cada modelo emite um voto binário (Válido/Inválido). O resultado padrão é a maioria simples.

B. Verificador Formal (Z3 SMT Solver)

• Função: Atua como um "desempate" estrutural.
• Processo:
  1. Extração de Estrutura: Um LLM extrai a estrutura lógica do silogismo (termos, premissas, conclusão) e a converte para uma representação JSON estruturada. O uso de APIs de saída estruturada reduziu as falhas de extração de ~22% para quase zero.
  2. Codificação FOL: As premissas são codificadas em Lógica de Primeira Ordem (FOL) com uma interpretação aristotélica (incluindo axiomas de existência para termos sujeitos em proposições universais).
  3. Verificação: O solver Z3 verifica a satisfatibilidade. Se as premissas são consistentes e a negação da conclusão é insatisfatível, o silogismo é válido.
• Neutralidade: O Z3 é inerentemente neutro ao conteúdo, pois opera apenas sobre a estrutura lógica extraída.

C. Módulo de Decisão (Tiebreaker)

• Mecanismo de Roteamento: O sistema calcula a margem de voto do ensemble ($m$).
  • Se a margem for alta (votos unânimes ou 4-1), usa-se a maioria do ensemble.
  • Se a margem for baixa (divisão 3-2), o sistema aciona o verificador Z3 para decidir o resultado final.
• Lógica: Assume-se que divisões 3-2 ocorrem quando alguns modelos são "enganados" pelo conteúdo, enquanto outros mantêm o raciocínio lógico. O Z3 resolve esses casos de ambiguidade.

3. Contribuições Chave

1. Integração Neuro-Simbólica Seletiva: Demonstrou que aplicar verificação formal apenas em casos de baixo consenso do ensemble (onde o viés é mais provável) é mais eficiente do que usar o solver para todos os casos ou apenas LLMs.
2. Redução de Falhas de Extração: A implementação de chamadas de API com saída estruturada (JSON Schema) para a extração de lógica eliminou quase totalmente as falhas de parsing que anteriormente inviabilizavam o uso de solvers SMT em pipelines de LLM.
3. Validação da Interpretação Aristotélica: Confirmou empiricamente que a tarefa exige axiomas de existência (importação existencial) para silogismos do tipo Felapton, ajustando a codificação lógica para corresponder às anotações do dataset.
4. Análise de Viés de Extração: Identificou que o Z3 tende a rejeitar silogismos válidos quando a extração de estrutura falha (devido a premissas absurdas), mas raramente aceita inválidos como válidos acidentalmente.

4. Resultados

Os resultados foram obtidos através de validação cruzada aninhada de 5 dobras (N=960 silogismos):

• Pontuação Combinada: O sistema FregeLogic alcançou 41.88, uma melhoria de 2.76 pontos em relação ao ensemble puro (39.12).
• Precisão (Accuracy): Aumentou de 93.4% para 94.3%.
• Efeito de Conteúdo (CE): Redução de 16% (de 3.39 para 2.85), indicando uma maior robustez contra viés semântico.
• Desempenho por Subgrupo: A estratégia de desempate reduziu a disparidade de acurácia entre silogismos válidos e inválidos, especialmente melhorando o desempenho em casos "Inválidos-Créveis" (onde o viés de conteúdo é mais forte).
• Eficiência do Mecanismo: O Z3 foi acionado em apenas 7.9% dos casos (divisões 3-2). Desses, o solver corrigiu 19 erros do ensemble e cometeu 11 erros (todos por falha de extração de estrutura, não de lógica), resultando em um ganho líquido de 8 previsões corretas.

5. Significado e Conclusão

O trabalho demonstra que a integração neuro-simbólica direcionada é uma estratégia eficaz para mitigar o efeito de conteúdo em tarefas de raciocínio lógico.

• Inovação: A abordagem não requer acesso aos pesos internos dos modelos (como em métodos de activation steering), mas sim uma orquestração inteligente de ferramentas externas.
• Limitações: O sistema depende da fidelidade da extração de estrutura pelo LLM; erros de extração em silogismos válidos podem levar a falsos negativos no Z3. Além disso, a complexidade de configuração (seleção de ensemble por dobra) impede que seja uma "receita única" simples.
• Impacto Futuro: Sugere que mecanismos de desempate baseados em consenso podem ser generalizados para outras tarefas de raciocínio onde a confiança do modelo é um indicador de viés.

Em resumo, o FregeLogic prova que combinar a diversidade de múltiplos LLMs com a certeza lógica de solvers formais, ativados apenas quando necessário, supera os métodos puramente estatísticos na tarefa de previsão de validade silogística robusta.