ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs

O artigo apresenta um método inovador que reduz os efeitos de conteúdo no raciocínio de modelos de linguagem multilíngues através da abstração estrutural e da análise determinística, alcançando um desempenho de destaque no benchmark SemEval-2026 Task 11.

O essencial

Imagine que você tem um amigo muito inteligente, mas um pouco distraído, chamado LLM (um Modelo de Linguagem Grande, como o Google Gemini ou o ChatGPT). Esse amigo é ótimo em escrever poemas, contar histórias e saber fatos do mundo. Mas, quando você pede para ele resolver um problema de lógica pura, ele às vezes se confunde.

Por que? Porque ele é muito influenciado pelo conteúdo.

O Problema: O "Viés do Conteúdo"

Pense assim: Se eu disser:

"Todos os cachorros são animais. Alguns animais são gatos. Logo, todos os cachorros são gatos."

Um humano vê imediatamente que isso é falso. A lógica está errada. Mas o nosso amigo LLM pode pensar: "Bem, cachorros são animais, e gatos são animais... parece que faz sentido, né?" Ele usa o que sabe sobre o mundo real (que cachorros e gatos são ambos animais) para "adivinhar" a resposta, em vez de olhar apenas para a estrutura da frase. Isso é o que os pesquisadores chamam de viés de conteúdo.

Em idiomas diferentes (como português, espanhol ou russo), esse problema fica ainda pior, porque o modelo pode não entender bem as nuances da gramática.

A Solução: O "Tradutor de Estrutura" (ITLC)

A equipe deste artigo criou um método chamado ITLC para consertar isso. Eles não tentaram "reprogramar" o cérebro do modelo (o que seria como tentar ensinar um adulto a andar de novo). Em vez disso, eles criaram um filtro antes de o modelo pensar.

Aqui está como funciona, usando uma analogia de receita de bolo:

1. Normalização: Transformando a Receita em Símbolos

Imagine que você recebe uma receita de bolo escrita de forma confusa:

"Se você colocar farinha e ovos, e depois assar, o bolo fica fofinho. Mas se você colocar apenas farinha, ele fica duro."

Para um robô de lógica, isso é difícil. O método da equipe pega essa frase e a transforma em uma fórmula matemática pura, removendo todas as palavras "gordas" (farinha, ovos, bolo) e deixando apenas a estrutura:

"Se A e B, então C. Se apenas A, então D."

No mundo dos silogismos (aqueles raciocínios com "Todos os X são Y"), eles pegam frases como "Todos os gatos são felinos" e transformam em:

"Todos os A são B."

Isso é chamado de Abstração Estrutural. Eles tiram o "tempero" (o conteúdo) e deixam apenas o "prato" (a lógica).

2. O Tradutor de Pivot (Para Línguas Diferentes)

Como os modelos de IA são melhores em inglês, quando a frase vem em português ou espanhol, eles fazem uma "ponte":

1. Pegam a frase em português.
2. Traduzem apenas a estrutura lógica para o inglês (mantendo os nomes originais das coisas para não perder o sentido).
3. Agora, a lógica está em um formato que o modelo entende perfeitamente.

3. O Detetive Determinístico (Análise Rígida)

Depois de transformar a frase em "Todos os A são B", eles não deixam o modelo "adivinhar" se é verdadeiro ou falso. Eles usam um detetive de regras fixas (um algoritmo simples).

É como um jogo de tabuleiro com regras claras:

• Se a regra diz "Todos os A são B" e "Todos os B são C", então obrigatoriamente "Todos os A são C".
• O detetive verifica se a conclusão segue as regras do jogo. Se seguir, é Válido. Se não seguir, é Inválido.

Não há espaço para "acho que faz sentido". Ou a matemática fecha, ou não fecha.

O Resultado: Otimismo e Precisão

Ao usar esse método, a equipe conseguiu:

• Eliminar o viés: O modelo parou de se deixar enganar pelo que ele "sabe" sobre o mundo e passou a olhar apenas para a lógica.
• Funcionar em vários idiomas: Como eles traduziram a estrutura para um formato padrão, funcionou bem em inglês, português, espanhol, russo, etc.
• Ser simples e barato: Eles não precisaram treinar um modelo gigante do zero (o que custa milhões). Apenas criaram um "filtro" inteligente antes de usar o modelo.

Resumo em uma frase

A equipe criou um tradutor de "pensamento lógico" que remove as distrações do mundo real e das línguas diferentes, transformando problemas complexos em uma fórmula matemática simples que qualquer computador pode resolver sem errar.

É como tirar os óculos coloridos que distorcem a realidade e colocar óculos de raio-X que mostram apenas a estrutura óssea da lógica.

Resumo técnico

Resumo Técnico: ITLC no SemEval-2026 Task 11

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos em tarefas de raciocínio lógico, especialmente em contextos multilíngues. O principal obstáculo identificado é o efeito de conteúdo (content effect): os modelos tendem a confiar em conhecimento do mundo real, crenças pré-existentes e plausibilidade semântica em vez de seguir estritamente a forma lógica dos argumentos. Isso resulta em:

• Baixa robustez e confiabilidade em aplicações críticas.
• Viés onde conclusões semanticamente plausíveis, mas logicamente inválidas, são aceitas.
• Dificuldade em generalizar o raciocínio formal para idiomas além do inglês, devido a variações na expressão de quantificadores e estruturas sintáticas.

O objetivo do SemEval-2026 Task 11 foi desenvolver sistemas capazes de dissecar o conteúdo do raciocínio formal, avaliando tanto a precisão da validade lógica quanto a magnitude do viés de conteúdo.

2. Metodologia

A equipe ITLC propôs uma abordagem híbrida que combina abstração estrutural explícita com análise sintática determinística, evitando o ajuste fino (fine-tuning) pesado ou intervenções em nível de ativação. O sistema opera em três etapas principais:

2.1. Normalização (Transformação para Forma Canônica)

O objetivo é mapear argumentos em linguagem natural para uma representação lógica simbólica padronizada, preservando apenas a estrutura lógica.

• Identificação de Termos: O sistema identifica três categorias semânticas distintas: Termo Menor (S, sujeito da conclusão), Termo Maior (P, predicado da conclusão) e Termo Médio (M, presente nas premissas, mas ausente na conclusão).
• Abstração Simbólica: Os termos são mapeados para constantes simbólicas (A, B, C) baseadas na ordem de aparição.
• Normalização por Pivot em Inglês (EPN): Para idiomas não ingleses, o sistema utiliza um LLM (Gemini-3) não para tradução livre, mas para uma tradução estruturada restrita. O modelo traduz apenas quantificadores e verbos de ligação para o inglês, mantendo os termos de sujeito e predicado no idioma original. Isso garante a padronização estrutural sem introduzir desvios lexicais que alterariam a identidade dos termos.

2.2. Análise Sintática Determinística (Parsing)

Após a normalização, o texto é convertido em uma string canônica (P1. P2. Conclusão).

• Mapeamento de Tipos Categorias: Cada sentença é analisada via expressões regulares para classificar em uma das quatro formas categóricas clássicas:
  • A: Todo X é Y (Universal Afirmativa)
  • E: Nenhum X é Y (Universal Negativa)
  • I: Algum X é Y (Particular Afirmativa)
  • O: Algum X não é Y (Particular Negativa)
• Determinação de Figura e Humor: O sistema identifica a posição do termo médio nas premissas para determinar a "Figura" (1 a 4) e a sequência de tipos (A, E, I, O) para determinar o "Humor" (Mood).

2.3. Validação Formal

A validade é determinada por uma procedura de busca baseada em regras (lookup table), e não por inferência probabilística do LLM.

• O sistema verifica se o par (Humor, Figura) pertence ao conjunto de silogismos válidos clássicos (ex: Barbara, Celarent).
• Casos triviais (como premissas idênticas à conclusão ou inferências imediatas válidas) são detectados separadamente.
• Para a tarefa de "Premissas Relevantes", o sistema identifica deterministicamente quais premissas conectam S e P através de M.

3. Contribuições Chave

1. Abordagem Não-Probabilística para Raciocínio: Demonstrou que a combinação de normalização guiada por LLM com regras determinísticas supera métodos puramente baseados em LLM, eliminando a aleatoriedade e o viés semântico.
2. Estratégia de Normalização Multilíngue: A técnica de "Pivot em Inglês" (traduzir apenas a estrutura lógica, mantendo os termos nativos) provou ser eficaz para lidar com a variação linguística sem perder a identidade dos termos, superando a tradução completa que poderia causar colapso de termos (ex: "dog" e "canine" virando a mesma palavra em francês).
3. Redução Drástica de Viés de Conteúdo: O método oferece uma alternativa interpretável e leve a arquiteturas complexas, focando na disjunção entre conteúdo e forma.

4. Resultados

O sistema foi avaliado no SemEval-2026 Task 11, alcançando top-5 em todos os 4 subtasks:

• Validade Lógica (Inglês): Alcançou 100% de precisão com 0.0 de viés de conteúdo. O método determinístico garantiu correção por construção, enquanto a abordagem "LLM-only" cometeu erros devido a plausibilidade semântica.
• Validade Lógica (Multilíngue): Com a normalização por Pivot em Inglês (EPN), alcançou 100% de precisão e 0.0 de viés. Sem a tradução estrutural, a precisão caiu e o viés aumentou significativamente.
• Premissas Relevantes: O método determinístico obteve melhores resultados combinados (precisão + F1) do que o LLM puro, especialmente no cenário multilíngue, onde o LLM puro tendia a ser distraído por premissas irrelevantes semanticamente plausíveis.
• Comparação de Notações: A notação de Silogismo Categórico (A, E, I, O) superou notações de Lógica de Primeira Ordem (FOL) e notações de Argumento-Predicado, oferecendo o melhor equilíbrio entre abstração e interpretabilidade para o modelo.

5. Significado e Conclusão

Este trabalho demonstra que, para tarefas de raciocínio formal, a interpretabilidade e a estrutura determinística são superiores à simples escala de modelos ou ajuste fino.

• Mitigação de Viés: A abstração estrutural remove efetivamente o "ruído" do conhecimento do mundo real, forçando o sistema a operar apenas sobre a lógica formal.
• Escalabilidade Multilíngue: A estratégia de normalização permite que modelos treinados principalmente em inglês raciocinem com alta precisão em diversos idiomas, desde que a estrutura lógica seja corretamente extraída e padronizada.
• Alternativa Viável: O método oferece uma solução simples, eficiente e de baixo custo computacional (sem fine-tuning) para problemas de raciocínio lógico, sugerindo que a integração de métodos simbólicos (neuro-simbólicos) é crucial para a confiabilidade de LLMs em aplicações de alto risco.

Em suma, a equipe ITLC provou que transformar silogismos em representações canônicas e aplicar regras de validação determinísticas é uma estratégia robusta para dissecar o conteúdo do raciocínio formal, superando as limitações inerentes aos modelos de linguagem puros.