💬 NLP

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

Le système HABIB_TAZ a atteint les premiers rangs de la tâche 11 de SemEval-2026 en employant des modèles mDeBERTa-v3 entraînés sur des données syllogistiques synthétiques avec une optimisation multi-objectif afin de démêler efficacement la logique formelle du biais de contenu à travers plusieurs langues.

Auteurs originaux : Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment résoudre des énigmes de logique. Vous lui donnez une règle : « Si tous les oiseaux peuvent voler, et qu'un manchot est un oiseau, alors un manchot peut voler. » Un humain pourrait marquer une pause et dire : « Attendez, les manchots ne peuvent pas voler ! Cette règle est fausse dans le monde réel. » Mais un robot qui s'appuie trop sur son « bon sens » pourrait être confus. Il pourrait penser : « Oh, les manchots sont des oiseaux, et les oiseaux volent, donc la conclusion doit être vraie », même si la logique elle-même est erronée parce que la règle de départ était fausse. C'est le problème délicat que les scientifiques essaient de résoudre avec les Grands Modèles de Langage (LLM). Ces modèles sont les cerveaux d'IA puissants derrière les chatbots et les moteurs de recherche. Ils sont incroyables pour écrire des histoires et répondre à des questions, mais ils ont souvent du mal à séparer ce qui est logiquement vrai de ce qui semble crédible. Ils sont piégés par les « effets de contenu », où la signification réelle des mots les distrait de la structure réelle de l'argument. L'objectif de cette recherche est de construire une IA qui agit comme un logicien strict : un qui vérifie si le calcul de l'argument fonctionne, peu importe si l'histoire semble absurde ou sensée.

L'équipe derrière ce projet, HABIB_TAZ, a participé à une compétition appelée SemEval-2026 Task 11 pour tester précisément cette capacité. Leur mission était de créer un système capable d'examiner des syllogismes (un type d'argument logique avec deux prémisses et une conclusion) dans 12 langues différentes et de décider si la conclusion respectait les règles, même si les prémisses étaient insensées ou s'il y avait des phrases supplémentaires et distrayantes ajoutées.

Pour résoudre cela, les chercheurs n'ont pas simplement nourri leur IA avec plus de données du monde réel. Au lieu de cela, ils ont construit un terrain d'entraînement « synthétique ». Imaginez qu'ils aient créé une immense usine générant des millions d'énigmes de logique en utilisant des règles strictes et inventées ainsi que des mots de charabia, plutôt que de vrais animaux ou objets. C'était pour empêcher l'IA d'apprendre des raccourcis basés sur les connaissances du monde réel. Ils ont ensuite entraîné leur modèle d'IA, basé sur un puissant moteur de langage appelé mDeBERTa-v3, en utilisant une recette d'entraînement spéciale en trois parties. Premièrement, ils ont utilisé une technique pour s'assurer que le modèle n'ignorait pas les exemples les plus difficiles et les plus complexes. Deuxièmement, ils ont ajouté une « pénalité de biais », qui est comme un professeur qui réprimande doucement l'élève chaque fois qu'il est distrait par l'aspect « plausible » d'une histoire, le forçant à se concentrer uniquement sur la logique. Troisièmement, ils ont utilisé une vérification de cohérence pour s'assurer que le modèle comprenait qu'une phrase complexe signifiait la même chose logiquement qu'une phrase simple.

Les résultats ont été un mélange de scores parfaits et de défis intéressants. Sur les tâches plus simples — les énigmes uniquement en anglais, les énigmes en anglais avec des distractions, et les énigmes dans 12 langues sans distractions — leur système a obtenu un score parfait de 100,0. Il a complètement ignoré les pièges du « monde réel » et a trouvé la logique juste à chaque fois, avec un biais nul. Cependant, le défi le plus difficile était la tâche « Noisy Multilingual » (multilingue bruyante), où l'IA devait gérer 12 langues et des phrases de distraction. Ici, le système s'est classé 6e. Il a obtenu 89,06 % de bonnes réponses, mais il présentait encore un léger biais (2,89 %).

Les chercheurs ont constaté que leur recette d'entraînement spéciale fonctionnait à merveille pour les tâches plus faciles, prouvant que l'on peut enseigner à une IA à être un pur logicien si on l'entraîne sur des données synthétiques basées sur des règles plutôt que sur du texte désordonné du monde réel. Pour la tâche la plus difficile, ils ont remarqué que le modèle éprouvait plus de difficultés avec les données multilingues originales qu'avec les traductions anglaises, suggérant que la manière dont le modèle gère les différentes langues est encore un peu fragile. Ils ont également découvert que l'ajout d'une vérification de « cohérence » spécifique (utilisant la divergence KL) aidait le modèle à rester stable à travers différentes langues, bien que cela nécessite beaucoup de puissance informatique pour fonctionner. En fin de compte, l'article suggère que, bien que nous puissions construire des IA qui sont incroyablement bonnes en logique pure, les rendre robustes à travers chaque langue et chaque type de bruit est encore un travail en cours. L'équipe a rendu son code et ses outils de génération de données publics, dans l'espoir que d'autres les utiliseront pour construire une IA encore plus logique.

Résumé Technique : HABIB_TAZ à SemEval-2026 Task 11

Énoncé du Problème
Bien que les grands modèles de langage (LLM) fassent preuve de compétence dans les tâches générales de traitement du langage naturel (NLP), leurs capacités de raisonnement formel sont fréquemment compromises par des « effets de contenu ». Les modèles ont tendance à surestimer la validité logique d'arguments qui s'alignent sur la plausibilité du monde réel, confondant la connaissance du monde avec la logique formelle. La tâche 11 de SemEval-2026 aborde ce problème en évaluant la capacité d'un modèle à dissocier la logique formelle du contenu à travers 12 langues, exigeant spécifiquement l'identification des prémisses pertinentes parmi un bruit non pertinent (distracteurs). Le défi central consiste à atteindre une précision élevée dans la classification de la validité logique tout en minimisant l'Effet de Contenu Total (TCE), une métrique quantifiant le biais envers le contenu plausible.

Méthodologie
Le système HABIB_TAZ emploie une approche multidimensionnelle combinant la génération de données synthétiques, une architecture spécialisée et une optimisation multi-objectifs pour découpler les motifs sémantiques de la structure logique.

Architecture : Le système utilise des backbones mDeBERTa-v3 pré-entraînés sur des tâches d'inférence de texte naturel (NLI). Pour les sous-tâches impliquant du bruit (ST2 et ST4), un backbone plus large (DeBERTa-v3-large) est employé pour mieux dissocier les prémisses non pertinentes. L'architecture présente deux têtes spécialisées : une tête de classification pour la validité logique (utilisant le jeton [CLS]) et une tête de sélection de prémisse utilisant le pooling par étendue (span-based pooling) et le pooling de moyenne masquée pour identifier les prémisses pertinentes.
Stratégie de Données : Pour surmonter la rareté des données d'entraînement fournies (N=960), les auteurs ont développé un moteur de génération de données synthétiques basé sur des règles. Ce moteur génère des données basées sur 256 schèmes syllogistiques aristotéliciens, assurant une représentation équilibrée entre les quadrants de validité et de plausibilité. Les stratégies clés incluent :
- Contrôle du Vocabulaire : Utilisation de chaînes d'hyperonymes/hyponymes de WordNet pour créer des échantillons plausibles et de noms de chaînes croisées pour les échantillons implausibles.
- Données Symboliques : Introduction de charabia ou de variables symboliques pour réduire la dépendance vis-à-vis de la sémantique du monde réel.
- Reformulation Complexe : Cartographie de formes logiques simples vers des variations linguistiques complexes pour imposer l'invariance structurelle.
- Expansion Multilingue : Traduction des structures anglaises en 12 langues cibles en utilisant des modèles spécifiques à chaque langue pour préserver les quantificateurs.
- Robustesse : Intégration d'échantillons du jeu de données HANS (Heuristic Analysis for NLI Systems) pour empêcher les modèles d'exploiter des heuristiques syntaxiques de surface.
Optimisation : Le pipeline d'entraînement emploie une fonction de perte multi-objectifs ( $L_{total} = L_{DRO} + \lambda_{bias}L_{bias} + \gamma L_{KL}$ $L_{t o t a l} = L_{D R O} + λ_{bia s} L_{bia s} + γ L_{K L}$ ) :
- Adaptive Group DRO : Au lieu de la Cross-Entropy standard, l'optimisation robuste de distribution par groupe (Group Distributionally Robust Optimization - DRO) se concentre sur les sous-groupes les moins performants (définis par les quadrants validité/plausibilité et les langues) pour assurer la cohérence.
- Pénalité de Biais Différentiable : Une composante de perte calculée à partir des scores de confiance sigmoïdes qui pénalise les distributions de confiance inégales entre les quadrants validité-plausibilité, forçant le modèle à maintenir une certitude logique indépendamment de la plausibilité du contenu.
- Cohérence de la Divergence KL : Cela minimise la divergence entre les distributions de sortie des syllogismes simples (enseignant) et de leurs reformulations complexes (élève), ancrant le modèle sur des formes logiques fondamentales plutôt que sur des raccourcis lexicaux.
- Programmation Dynamique : Le poids de la pénalité de biais ( $\lambda_{bias}$ ) et la taille de l'étape DRO sont initialisés à zéro et augmentés progressivement pour éviter que le modèle ne s'effondre dans des minima sous-optimaux avant de maîtriser les structures formelles.

Résultats Clés
Le système a atteint des performances de pointe à travers les trois premières sous-tâches et des résultats solides sur la sous-tâche la plus complexe :

Sous-tâche 1 (Anglais) : A obtenu un score de classement parfait de 100.0 avec 0,00 % de biais et 100,0 % de précision.
Sous-tâche 2 (Anglais Bruité) : A obtenu un score de classement parfait de 100.0 avec 0,00 % de biais et 100,0 % de précision, réussissant à dissocier le raisonnement du bruit des prémisses.
Sous-tâche 3 (Multilingue) : A obtenu un score de classement parfait de 100.0 avec 0,00 % de biais et 100,0 % de précision. Les études d'ablation ont indiqué que la combinaison de la perte de Biais et des données HANS était suffisante pour cette tâche, tandis que les régulariseurs supplémentaires (KL/MSE) n'ont pas amélioré les performances.
Sous-tâche 4 (Multilingue Bruité) : S'est classé 6ème avec une Précision et un score F1 de 89,06 %, un biais de 2,89 %, et un Score de Classement de 37,78.
- Analyse : Les auteurs ont noté un écart de performance significatif lors de l'évaluation sur le jeu de test multilingue original par rapport à une traduction anglaise du test. La régularisation par Divergence KL a été identifiée comme le facteur critique pour combler cet écart translingual, rendant le modèle robuste aux variations linguistiques. Cependant, en raison des contraintes de calcul pendant la compétition, l'ensemble complet des données (648 632 échantillons) a été réduit à environ 4 % pour l'entraînement, suggérant un potentiel d'amélioration supplémentaire.

Signification et Contributions
L'article affirme que sa contribution primaire est de démontrer qu'une optimisation sensible au biais combinée à des données synthétiques basées sur des règles peut isoler efficacement le raisonnement formel de la plausibilité du monde réel. En évitant le bruit sémantique inhérent aux données augmentées par LLM et en employant une fonction de perte multi-objectifs, le système atténue avec succès les effets de contenu qui affectent typiquement les LLM.

Les auteurs soulignent que :

Les données synthétiques sont cruciales : L'entraînement sur des symboles abstraits et des structures basées sur des règles permet aux modèles de mieux généraliser le raisonnement logique que l'entraînement uniquement sur des données en langage naturel.
L'optimisation multi-objectifs est nécessaire : Les techniques de régularisation isolées (comme le DRO ou le Biais seul) peuvent dégrader les performances ou échouer à généraliser ; une combinaison équilibrée (spécifiquement Divergence KL + DRO + Biais) est requise pour maintenir l'invariance structurelle tout en réduisant le biais.
Scalabilité : La capacité à abstraire les relations logiques des prémisses bruitées passe directement à l'échelle avec les paramètres du modèle, comme le prouvent les scores parfaits obtenus avec le backbone Large sur la Sous-tâche 2.

Les auteurs rendent leur moteur de génération de données et leur code source publics pour faciliter les recherches futures sur le raisonnement logique robuste. Ils concluent que bien que le système ait obtenu des scores parfaits sur les tâches propres et les tâches bruitées à langue unique, le défi d'un raisonnement logique multilingue totalement robuste reste un domaine de recherche actif, particulièrement concernant les coûts de calcul de la régularisation de cohérence.

Résumé Technique : HABIB_TAZ à SemEval-2026 Task 11

Articles similaires