UFAL-CUNI at SemEval-2026 Task 11: An Efficient Modular Neuro-symbolic Method for Syllogistic Reasoning

Enunciado do Problema
Modelos de Linguagem de Grande Escala (LLMs) demonstraram proficiência no raciocínio silogístico, mas sofrem de vieses de raciocínio significativos, particularmente o "efeito de conteúdo". Este fenômeno ocorre quando o julgamento de um modelo sobre a validade de um argumento é influenciado pela compatibilidade do argumento com o conhecimento do mundo real, em vez de sua estrutura lógica formal. A SemEval-2026 Tarefa 11 visa desvendar o conteúdo do raciocínio formal, desafiando sistemas a avaliar silogismos aristotélicos em quatro subtarefas: avaliar validade, selecionar premissas relevantes e realizar ambas as tarefas em contextos multilíngues. O objetivo é construir sistemas capazes de raciocínio independente de conteúdo, minimizando ao mesmo tempo o efeito de conteúdo.

Metodologia
Os autores propõem uma abordagem neuro-simbólica eficiente e modular que combina pequenos LLMs de raciocínio (especificamente Qwen3 4B) com um provador de teoremas simbólico (Prover9). A arquitetura do sistema consiste em quatro componentes principais:

1. Tradução Automática (Opcional): Para as subtarefas multilíngues (3 e 4), um LLM maior (Gemma 3 27B) traduz as entradas para o inglês. Este processo inclui um loop de autoavaliação e correção para garantir a fidelidade da tradução antes do processamento adicional.
2. Parser FOL: Um pequeno LLM traduz proposições em linguagem natural para Lógica de Primeira Ordem (FOL). Uma inovação chave é o uso de um formato LaTeX intermediário para esta tradução. Os autores hipotetizam que, como o LaTeX é bem representado nos dados de treinamento de LLMs, ele produz formalizações de maior qualidade do que a tradução direta para a sintaxe do provador alvo. O parser opera de maneira multi-etapa, formalizando proposições uma por uma, mantendo um mapeamento de predicados consistente entre as chamadas para garantir coerência lógica.
3. Transpilador: Um componente baseado em regras e acionado por expressões regulares converte as fórmulas FOL LaTeX intermediárias na sintaxe específica exigida pelo Prover9.
4. Provador Simbólico: O Prover9 determina a validade lógica do silogismo formalizado.
5. Recuperação de Relevância (Subtarefas 2 e 4): Em vez de depender do LLM para identificar premissas relevantes, o sistema emprega um algoritmo ganancioso simbólico. Ele remove iterativamente premissas e reexecuta o provador; se a prova falhar após a remoção, a premissa é considerada necessária (relevante).

Principais Contribuições e Descobertas

• Representação Intermediária: O artigo demonstra que instruir LLMs a gerar FOL na notação LaTeX, seguido de uma transpilação baseada em regras, supera significativamente a análise direta para a sintaxe nativa do provador. A análise direta resultou em uma queda de 10 pontos na precisão e em um aumento substancial do efeito de conteúdo devido a erros de sintaxe frequentes.
• Eficiência Neuro-Simbólica: O sistema alcança precisão competitiva (aproximadamente 95% na subtarefa 1) usando um modelo de 4B parâmetros, superando significativamente as bases zero-shot de LLMs de tamanho similar. Os estudos de ablação confirmam que o pipeline neuro-simbólico mitiga efetivamente o efeito de conteúdo, enquanto o raciocínio de LLMs ponta a ponta exibe um aumento acentuado no viés.
• Limitações de Modelos Pequenos: O estudo revela que pequenos LLMs (4B) têm capacidades multilíngues limitadas. A pré-tradução de entradas com modelos menores (por exemplo, Gemma 3 4B ou Qwen 3 4B) performou pior do que pular a tradução inteiramente, sugerindo que modelos maiores são necessários para pré-processamento multilíngue confiável.
• Análise de Métricas: Os autores fornecem uma análise empírica e teórica crítica da principal métrica de classificação da tarefa, a Pontuação Combinada (CS). Eles argumentam que a CS é excessivamente sensível a ruído estatístico aleatório em conjuntos de teste pequenos. Sua análise mostra que até mesmo um modelo imparcial pode exibir efeitos de conteúdo não nulos devido à variância, e a métrica penaliza desproporcionalmente sistemas de alta precisão com erros menores, potencialmente obscurecendo diferenças genuínas de desempenho.

Significado
O artigo afirma que, embora pequenos LLMs isolados sejam insuficientes para um raciocínio silogístico robusto e independente de conteúdo, eles tornam-se altamente eficazes quando integrados em um pipeline neuro-simbólico modular. O trabalho destaca a importância de aproveitar formatos intermediários (LaTeX) que se alinham com as distribuições de treinamento do modelo para melhorar a confiabilidade da formalização. Além disso, o artigo contribui com uma perspectiva crítica sobre métricas de avaliação, sugerindo que os sistemas de classificação atuais podem não distinguir de forma confiável entre capacidades de raciocínio genuínas e artefatos estatísticos em tarefas de raciocínio em pequena escala. Os autores concluem que sua abordagem reduz com sucesso o efeito de conteúdo para modelos deste tamanho de parâmetros, oferecendo um caminho viável para raciocínio formal eficiente, sem o custo computacional de modelos massivos.