SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance

Resumo Técnico: SEF-CLGC no SemEval-2026 Task 11

Definição do Problema
Este artigo aborda a SemEval-2026 Task 11 Subtask 1, que desafia Grandes Modelos de Linguagem (LMs) a determinar a validade lógica de silogismos, desvinculando o raciocínio de conteúdo do raciocínio formal. O problema central é que os LMs frequentemente exibem um "viés de conteúdo", onde seus julgamentos de validade são influenciados pela plausibilidade do mundo real dos argumentos, em vez de sua estrutura lógica. Embora modelos maiores geralmente tenham um desempenho superior, eles permanecem propensos aos mesmos vieses de raciocínio que os humanos. Os autores investigam se Pequenos Modelos de Linguagem (SLMs), quando treinados em uma combinação de linguagem natural e notações lógicas formais, podem alcançar um desempenho de raciocínio competitivo enquanto mitigam esses vieses.

Metodologia
Os autores utilizam e aprimoram um pipeline chamado Syllogistic Evaluation Framework-Common Logic Grammar Construction (SEF-CLGC). A metodologia procede através das seguintes etapas:

1. Transformação de Dados:

   • Tradução NL-para-FOL: Silogismos em Linguagem Natural (NL) do conjunto de dados da tarefa são primeiro traduzidos para Lógica de Primeira Ordem (FOL) usando o modelo OpenAI ChatGPT 5.2.
   • Categorização: O componente SEF categoriza os silogismos em quatro tipos: Hipotéticos, Disjuntivos, Categóricos e Complexos.
   • Geração de Notação: Usando gramáticas de Forma de Backus-Naur (BNF), o sistema gera Árvores de Sintaxe Abstrata (ASTs) e transforma as representações FOL em várias notações lógicas. O pipeline introduz duas novas notações além das existentes:
     • CLINGO: Uma linguagem para Programação de Conjunto de Respostas (ASP).
     • MINIFOL2: Uma notação customizada que substitui operadores FOL por equivalentes booleanos e elimina o quantificador existencial ("∃").
   • O conjunto de dados resultante inclui os silogismos originais em NL e suas transformações em notações como FOL, CLIF, CGIF, TFL+, CLINGO e MINIFOL2.

2. Treinamento e Arquitetura do Modelo:

   • Os autores empregam modelos Flan-T5 (especificamente variantes small e large), limitando o escopo a modelos com menos de 1 bilhão de parâmetros para garantir a frugalidade.
   • Duas famílias de modelos são treinadas:
     • Modelos SEMEVAL: Modelos Flan-T5 vanilla ajustados finamente (fine-tuned) diretamente nos divisões do conjunto de dados da tarefa.
     • Modelos FOLIO-SEMEVAL: Modelos Flan-T5 pré-ajustados finamente no conjunto de dados FOLIO (um conjunto de dados de raciocínio lógico) antes de serem ajustados finamente nos dados da tarefa SemEval.
   • O treinamento envolve Ajuste Fino Supervisionado (SFT), onde a entrada consiste em silogismos em uma ou múltiplas notações, e o alvo é o rótulo de validade ("Verdadeiro" ou "Falso").

3. Métricas de Avaliação:

   • O desempenho é medido usando Acurácia (ACC) e o Efeito de Conteúdo (CE), que quantifica a lacuna de desempenho entre silogismos plausíveis e implausíveis.
   • A métrica de classificação principal é o Score de Conteúdo (CS), definido como $CS = \frac{ACC}{1 + \log(1 + CE)}$. Esta métrica recompensa alta acurácia enquanto penaliza alto viés de conteúdo.

Principais Resultados

• Desempenho dos SLMs: O modelo com melhor desempenho, um FOLIO-SEMEVAL Flan-T5-large treinado em uma combinação de Linguagem Natural e FOL (NL-FOL), alcançou um Content Score de 27,80% e uma acurácia de 90,57% no conjunto de avaliação cego.
• Impacto das Notações:
  • Na família SEMEVAL (sem pré-treinamento no FOLIO), a Linguagem Natural (NL) sozinha teve o melhor desempenho, seguida por NL-FOL. Notações puramente formais (ex: FOL, CLIF) geralmente tiveram desempenho inferior ao NL.
  • Na família FOLIO-SEMEVAL, o pré-ajuste fino em dados lógicos alterou significativamente a hierarquia. A combinação NL-CLIF alcançou a maior acurácia de treinamento (0,95), e o NL-FOL alcançou o maior Content Score de avaliação.
  • Notações como MINIFOL2 e TFL+ tiveram um desempenho ruim, provavelmente devido ao desconhecimento dos modelos sobre suas estruturas sintáticas específicas.
• Mitigação de Viés: O uso de notações lógicas formais, particularmente em combinação com NL, reduziu significativamente o Efeito de Conteúdo (CE). Por exemplo, o modelo NL-FOL reduziu o CE para 8,55 em comparação com 9,57 para o modelo apenas com NL na família FOLIO-SEMEVAL.
• Análise de Erros: Os modelos demonstraram uma forte capacidade de detectar silogismos válidos, mas tiveram dificuldades com os inválidos, mostrando uma alta taxa de Falsos Positivos (predizendo silogismos inválidos como válidos). Este viés foi mais pronunciado em modelos pré-treinados no conjunto de dados FOLIO.

Significância e Alegações
O artigo alega que seu trabalho demonstra a viabilidade de Pequenos Modelos de Linguagem como agentes competitivos para tarefas complexas de raciocínio lógico quando aumentados com notações lógicas formais. Especificamente, os autores afirmam que:

1. Frugalidade e Competitividade: É possível alcançar alta acurácia e classificações competitivas (7º em Efeito de Conteúdo, 10º em Acurácia) usando SLMs, desafiando a tendência de depender exclusivamente de modelos massivos.
2. Redução de Viés: Integrar notações lógicas formais (abordagem neuro-simbólica) ajuda a reduzir o viés de conteúdo, permitindo que os modelos raciocinem mais sobre a estrutura do que sobre a plausibilidade do mundo real.
3. Valor do Pré-treinamento: O pré-ajuste fino em conjuntos de dados lógicos (como o FOLIO) aumenta a capacidade do modelo de aprender e utilizar notações formais de maneira eficaz, mesmo em tarefas de pequena escala.

Os autores concluem que, embora sua abordagem seja eficaz, trabalhos futuros são necessários para abordar o desequilíbrio das categorias de silogismos no conjunto de dados e para investigar as razões específicas para a dificuldade dos modelos com silogismos inválidos. Eles também reconhecem a limitação de depender de um modelo comercial para a etapa inicial de tradução NL-para-FOL.