💬 NLP

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

O sistema HABIB_TAZ alcançou classificações de topo na Task 11 do SemEval-2026 ao empregar modelos mDeBERTa-v3 treinados com dados silogísticos sintéticos com otimização multiobjetivo para desembaraçar eficazmente a lógica formal do viés de conteúdo através de múltiplas línguas.

Autores originais: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a resolver enigmas de lógica. Você lhe dá uma regra: "Se todos os pássaros podem voar, e um pinguim é um pássaro, então um pinguim pode voar". Um humano poderia pausar e dizer: "Espere, pinguins não voam! Essa regra está errada no mundo real". Mas um robô que depende demais de seu "senso comum" poderia ficar confuso. Ele poderia pensar: "Oh, pinguins são pássaros, e pássaros voam, então a conclusão deve ser verdadeira", mesmo que a própria lógica esteja falha porque a regra inicial era falsa. Este é o problema complexo que os cientistas estão tentando resolver com os Grandes Modelos de Linguagem (LLMs). Estes são os cérebros de IA poderosos por trás de chatbots e mecanismos de busca. Eles são incríveis em escrever histórias e responder perguntas, mas frequentemente têm dificuldade em separar o que é logicamente verdadeiro do o que parece acreditável. Eles são enganados por "efeitos de conteúdo", onde o significado do mundo real das palavras distrai deles da estrutura real do argumento. O objetivo desta pesquisa é construir uma IA que atue como um lógico rigoroso: um que verifica se a matemática do argumento funciona, independentemente de a história parecer boba ou sensata.

A equipe por trás deste projeto, HABIB_TAZ, participou de uma competição chamada SemEval-2026 Task 11 para testar exatamente essa habilidade. A missão deles era criar um sistema que pudesse analisar silogismos (um tipo de argumento lógico com duas premissas e uma conclusão) em 12 idiomas diferentes e decidir se a conclusão seguia as regras, mesmo que as premissas fossem absurdos ou se houvesse sentenças extras e distrativas inseridas.

Para resolver isso, os pesquisadores não apenas alimentaram sua IA com mais dados do mundo real. Em vez disso, eles construíram um campo de treinamento "sintético". Imagine que eles criaram uma fábrica gigante que gera milhões de enigmas de lógica usando regras estritas e inventadas com palavras sem sentido, em vez de animais ou objetos reais. Isso foi feito para impedir que a IA aprendesse atalhos baseados no conhecimento do mundo real. Eles então treinaram seu modelo de IA, baseado em um poderoso motor de linguagem chamado mDeBERTa-v3, usando uma receita de treinamento especial de três partes. Primeiro, usaram uma técnica para garantir que o modelo não ignorasse os exemplos mais difíceis e complicados. Segundo, adicionaram uma "penalidade de viés", que é como um professor dando uma bronca gentil no aluno toda vez que ele se distrai com o quão "plausível" uma história parece, forçando-o a focar apenas na lógica. Terceiro, usaram uma verificação de consistência para garantir que o modelo entendesse que uma frase complexa significava a mesma coisa lógica que uma frase simples.

Os resultados foram uma mistura de pontuações perfeitas e desafios interessantes. Nas tarefas mais simples — enigmas apenas em inglês, enigmas em inglês com distrações e enigmas em 12 idiomas sem distrações — seu sistema alcançou uma pontuação perfeita de 100,0. Ele ignorou completamente os truques do "mundo real" e acertou a lógica todas as vezes, com zero viés. No entanto, o desafio mais difícil foi a tarefa "Noisy Multilingual" (Multilíngue com Ruído), onde a IA tinha que lidar com 12 idiomas e sentenças distrativas. Aqui, o sistema ficou em 6º lugar. Ele acertou 89,06% das respostas, mas ainda mostrou uma pequena quantidade de viés (2,89%).

Os pesquisadores descobriram que sua receita de treinamento especial funcionou maravilhas para as tarefas mais fáceis, provando que é possível ensinar uma IA a ser um lógico puro se ela for treinada em dados sintéticos baseados em regras, em vez de textos bagunçados do mundo real. Para a tarefa mais difícil, eles notaram que o modelo teve mais dificuldade com os dados multilíngues originais do que com traduções para o inglês, sugerindo que a maneira como o modelo lida com diferentes idiomas ainda é um pouco instável. Eles também descobriram que adicionar uma verificação de "consistência" específica (usando Divergência KL) ajudou o modelo a manter a estabilidade entre diferentes idiomas, embora exigisse muito poder computacional para rodar. Por fim, o artigo sugere que, embora possamos construir IAs que são incrivelmente boas em lógica pura, tornar uma IA robusta em cada idioma e em cada tipo de ruído ainda é um trabalho em progresso. A equipe tornou seu código e suas ferramentas de geração de dados públicos, esperando que outros os utilizem para construir uma IA ainda mais lógica no futuro.

Resumo Técnico: HABIB_TAZ na SemEval-2026 Task 11

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) demonstrem proficiência em tarefas gerais de Processamento de Linguagem Natural (NLP), suas capacidades de raciocínio formal são frequentemente comprometidas por "efeitos de conteúdo". Os modelos tendem a superestimar a validade lógica de argumentos que se alinham com a plausibilidade do mundo real, confundindo conhecimento de mundo com lógica formal. A SemEval-2026 Task 11 aborda isso avaliando a capacidade de um modelo de desvincular a lógica formal do conteúdo em 12 idiomas, exigindo especificamente a identificação de premissas relevantes em meio a ruído irrelevante (distratores). O desafio central reside em alcançar alta precisão na classificação de validade lógica enquanto se minimiza o Efeito de Conteúdo Total (TCE), uma métrica que quantifica o viés em direção ao conteúdo plausível.

Metodologia
O sistema HABIB_TAZ emprega uma abordagem multifacetada combinando geração de dados sintéticos, arquitetura especializada e otimização multiobjetivo para desacoplar padrões semânticos de estruturas lógicas.

Arquitetura: O sistema utiliza backbones mDeBERTa-v3 pré-treinados em tarefas de Inferência de Natural Language (NLI). Para subtarefas envolvendo ruído (ST2 e ST4), um backbone maior (DeBERTa-v3-large) é empregado para desvincular melhor as premissas irrelevantes. A arquitetura apresenta duas cabeças especializadas: uma cabeça de classificação para validade lógica (usando o token [CLS]) e uma cabeça de seleção de premissas usando pooling baseado em spans e masked mean pooling para identificar premissas relevantes.
Estratégia de Dados: Para superar a escassez dos dados de treinamento fornecidos (N=960), os autores desenvolveram um motor de dados sintéticos baseado em regras. Este motor gera dados baseados em 256 esquemas silogísticos aristotélicos, garantindo uma representação equilibrada entre os quadrantes de validade e plausibilidade. As principais estratégias incluem:
- Controle de Vocabulário: Uso de cadeias de hiperônimos/hipônimos da WordNet para criar amostras plausíveis e substantivos de cadeias cruzadas para as implausíveis.
- Dados Simbólicos: Introdução de termos sem sentido (gibberish) ou variáveis simbólicas para reduzir a dependência de semântica do mundo real.
- Refraseamento Complexo: Mapeamento de formas lógicas simples para variações linguísticas complexas para impor invariância estrutural.
- Expansão Multilíngue: Tradução de estruturas em inglês para 12 idiomas de destino usando templates específicos de cada língua para preservar os quantificadores.
- Robustez: Integração de amostras do dataset HANS (Heuristic Analysis for NLI Systems) para evitar que os modelos explorem heurísticas sintáticas de nível superficial.
Otimização: O pipeline de treinamento emprega uma função de perda multiobjetivo ( $L_{total} = L_{DRO} + \lambda_{bias}L_{bias} + \gamma L_{KL}$ $L_{t o t a l} = L_{D R O} + λ_{bia s} L_{bia s} + γ L_{K L}$ ):
- Adaptive Group DRO: Em vez da Cross-Entropy padrão, a Otimização Robusta de Distribuição de Grupo (DRO) foca em subgrupos de baixo desempenho (definidos pelos quadrantes de validade/plausibilidade e idiomas) para garantir consistência.
- Penalidade de Viés Diferenciável: Uma componente de perda calculada a partir de scores de confiança sigmoide que penaliza distribuições de confiança desiguais entre os quadrantes de validade-plausibilidade, forçando o modelo a manter a certeza lógica independentemente da plausibilidade do conteúdo.
- Consistência de Divergência KL: Isso minimiza a divergência entre as distribuições de saída de silogismos simples (professor) e seus refraseamentos complexos (aluno), ancorando o modelo a formas lógicas fundamentais em vez de atalhos lexicais.
- Agendamento Dinâmico: O peso da penalidade de viés ( $\lambda_{bias}$ ) e o step-size do DRO são inicializados em zero e aumentados incrementalmente para evitar que o modelo colapse em mínimos subótimos antes de dominar as estruturas formais.

Resultos Principais
O sistema alcançou desempenho de estado da arte em todas as três primeiras subtarefas e resultados fortes na subtarefa mais complexa:

Subtask 1 (Inglês): Alcançou um Ranking Score perfeito de 100.0 com 0.00% de viés e 100.0% de acurácia.
Subtask 2 (Inglês com Ruído): Alcançou um Ranking Score perfeito de 100.0 com 0.00% de viés e 100.0% de acurácia, desvinculando com sucesso o raciocínio de premissas ruidosas.
Subtask 3 (Multilíngue): Alcançou um Ranking Score perfeito de 100.0 com 0.00% de viés e 100.0% de acurácia. Estudos de ablação indicaram que a combinação do Bias loss e dos dados HANS foi suficiente para esta tarefa, enquanto regularizadores adicionais (KL/MSE) não melhoraram o desempenho.
Subtask 4 (Multilíngue com Ruído): Classificou-se em 6º lugar com uma Acurácia e F1-score de 89.06%, um viés de 2.89% e um Ranking Score de 37.78.
- Análise: Os autores observaram uma lacuna significativa de desempenho ao avaliar no conjunto de teste multilíngue original versus uma tradução para o inglês do mesmo teste. A regularização por Divergência KL foi identificada como o fator crítico para fechar essa lacuna translinguística, tornando o modelo robusto a variações linguísticas. No entanto, devido a restrições computacionais durante a competição, o dataset completo (648.632 amostras) foi reduzido para aproximadamente 4% para treinamento, sugerindo potencial para melhorias futuras.

Significância e Contribuições
O artigo afirma que sua principal contribuição é demonstrar que a otimização consciente de viés combinada com dados sintéticos baseados em regras pode efetivamente isolar o raciocínio formal da plausibilidade do mundo real. Ao evitar o ruído semântico inerente aos dados aumentados por LLM e empregar uma função de perda multiobjetivo, o sistema mitiga com sucesso os efeitos de conteúdo que tipicamente assolam os LLMs.

Os autores destacam que:

Dados Sintéticos são Cruciais: Treinar em símbolos abstratos e estruturas baseadas em regras permite que os modelos generalizem melhor o raciocínio lógico do que treinar apenas com dados de linguagem natural.
Otimização Multiobjetiva é Necessária: Técnicas de regularização isoladas (como DRO ou Bias isolado) podem degradar o desempenho ou falhar na generalização; uma combinação equilibrada (especificamente KL-Divergence + DRO + Bias) é necessária para manter a invariância estrutural enquanto se reduz o viés.
Escalabilidade: A capacidade de abstrair relações lógicas de premissas ruidosas escala diretamente com os parâmetros do modelo, como evidenciado pelos scores perfeitos alcançados com o backbone Large na Subtask 2.

Os autores disponibilizam seu motor de geração de dados e código-fonte publicamente para facilitar pesquisas futuras sobre raciocínio lógico robusto. Eles concluem que, embora o sistema tenha alcançado scores perfeitos em tarefas limpas e de idioma único com ruído, o desafio de um raciocínio lógico multilíngue totalmente robusto continua sendo uma área de melhoria ativa, particularmente em relação aos custos computacionais da regularização de consistência.

Resumo Técnico: HABIB_TAZ na SemEval-2026 Task 11

Mais como este