ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs

Ce papier présente une méthode novatrice de normalisation et d'analyse déterministe qui atténue les biais de contenu dans le raisonnement des grands modèles de langage multilingues, obtenant un classement parmi les cinq meilleurs lors de l'évaluation SemEval-2026 Task 11.

L'essentiel

🧠 Le Problème : Les IA qui ont "la tête dans le guidon"

Imaginez que vous demandez à un grand ami très intelligent (une Intelligence Artificielle, ou IA) de résoudre une énigme logique.

• L'énigme : "Tous les chats sont des mammifères. Certains mammifères sont des chiens. Donc, certains chats sont des chiens."
• La réponse de l'IA : "C'est faux !" (Et elle a raison, logiquement).
• Mais voici le piège : Si on change les mots pour quelque chose de plus "réaliste" dans la vraie vie, l'IA commence à douter. Par exemple, si on parle de "pizzas" et de "fromage", l'IA va souvent se fier à ce qu'elle sait être vrai dans le monde réel (les pizzas ont du fromage) plutôt qu'à la structure pure de la phrase.

C'est ce que les chercheurs appellent l'"effet de contenu". L'IA est trop distraite par le sens des mots (le contenu) et oublie de regarder la forme du raisonnement (la logique). C'est comme si un détective regardait la couleur des vêtements du suspect au lieu de vérifier ses empreintes digitales.

🛠️ La Solution : Le "Traducteur de Logique" (ITLC)

L'équipe derrière ce papier (ITLC) a inventé une méthode simple mais géniale pour forcer l'IA à arrêter de rêver et à commencer à raisonner comme un mathématicien. Ils appellent ça la normalisation et le parsing déterministe.

Voici comment ça marche, étape par étape, avec une analogie :

1. La Normalisation : Le "Filtre à Mots" 🧼

Imaginez que vous avez un bol de soupe pleine de légumes, de pâtes et de morceaux de viande (c'est votre phrase complexe en français, espagnol, swahili, etc.).
L'IA, normalement, goûte tout et essaie de deviner le goût.

Notre méthode, elle, prend un tamis spécial. Elle ne garde que la forme des ingrédients, pas leur goût.

• Elle remplace "chats", "mammifères" et "chiens" par des lettres simples : A, B et C.
• Elle transforme la phrase en une structure mathématique pure : "Tous les A sont des B. Certains B sont des C."

C'est comme si on traduisait une conversation complexe en langage des signes ou en code binaire. Plus de distractions ! On ne voit plus que la structure.

2. Le "Parsing" Déterministe : Le Détective Rigide 🕵️‍♂️

Une fois que la phrase est transformée en code (A, B, C), on ne laisse plus l'IA deviner. On utilise un règlement strict, comme un jeu de société avec des règles immuables.

• Il existe une "table de vérité" (un manuel de règles) qui dit : "Si tu as la forme A + B, alors la conclusion doit être C. Sinon, c'est faux."
• L'ordinateur vérifie simplement si la structure correspond à l'une des 24 formes logiques valides connues depuis Aristote.

C'est comme vérifier si une clé (la conclusion) rentre dans une serrure (les prémisses). Soit ça rentre parfaitement (c'est valide), soit ça ne rentre pas (c'est invalide). Pas de "peut-être", pas d'émotion, pas de biais.

🌍 Pourquoi c'est magique pour les langues étrangères ?

Le papier a été testé dans 6 langues différentes (anglais, espagnol, swahili, etc.).

• Le problème habituel : Les IA sont souvent excellentes en anglais mais se perdent dans les nuances des autres langues.
• La solution de l'équipe : Ils utilisent une astuce appelée "Pivot Anglais".
  • Imaginez que vous avez un message en swahili. Au lieu de demander à l'IA de raisonner directement en swahili, on lui demande d'abord de traduire uniquement les mots-clés logiques (comme "tous", "aucun", "quelques") en anglais, tout en gardant les noms des objets dans leur langue d'origine.
  • Ensuite, on applique le tamis et le détective rigide sur cette version "hybride".

C'est comme si on utilisait un pont universel pour faire passer le message de n'importe quelle langue vers une zone de sécurité où la logique est pure et sans ambiguïté.

🏆 Les Résultats : Gagner la partie

En utilisant cette méthode, l'équipe ITLC a :

1. Éliminé presque totalement les erreurs de "biais" (l'IA ne se fait plus piéger par le sens des mots).
2. Obtenu un score parfait (ou presque) sur les tests de logique, même dans des langues qu'elle ne maîtrise pas parfaitement.
3. Démontré qu'on n'a pas besoin de réécrire tout le cerveau de l'IA (ce qui est très compliqué et cher) pour qu'elle soit logique. Il suffit de lui donner les bons outils de nettoyage et de règles simples.

En résumé 🎯

Ce papier nous dit : "Ne forcez pas l'IA à être un génie de la logique. Faites-la d'abord nettoyer ses lunettes (normalisation), puis donnez-lui un manuel de règles strictes (parsing)."

C'est une approche simple, intelligente et très efficace pour s'assurer que nos intelligences artificielles raisonnent vraiment, et ne font pas que deviner ce qui semble "vrai" à première vue. C'est comme passer d'un jeu de devinettes à un jeu d'échecs où les règles sont claires pour tout le monde.

Résumé technique

1. Problématique

Les grands modèles de langage (LLM) souffrent d'un phénomène majeur dans les tâches de raisonnement : les effets de contenu (content effects). Bien que ces modèles excellent dans la compréhension sémantique, ils ont tendance à baser leurs conclusions sur des connaissances du monde réel ou des croyances pré-entraînées plutôt que sur la structure logique formelle des prémisses. Ce biais est particulièrement problématique dans les contextes multilingues, où la variabilité linguistique et les nuances de traduction peuvent amplifier les erreurs de raisonnement. La tâche SemEval-2026 11 vise à évaluer la capacité des modèles à distinguer la validité logique formelle (indépendante du contenu) des inférences basées sur la plausibilité sémantique, tout en mesurant l'ampleur de ces biais de contenu.

2. Méthodologie

L'équipe ITLC propose une approche hybride combinant l'abstraction structurelle via un LLM et un parsing déterministe basé sur des règles. La méthode se déroule en trois étapes principales :

A. Normalisation et Abstraction Structurelle

Le but est de transformer les arguments syllogistiques en langage naturel en une représentation canonique logique, en éliminant le contenu sémantique spécifique.

• Identification des termes : Le modèle identifie trois catégories sémantiques distinctes : le terme mineur (S, sujet de la conclusion), le terme majeur (P, prédicat de la conclusion) et le terme moyen (M, présent dans les deux prémisses mais absent de la conclusion).
• Abstraction symbolique : Ces termes sont mappés à des constantes symboliques (A, B, C) selon leur ordre d'apparition.
• Normalisation par pivot anglais (EPN) : Pour les langues autres que l'anglais, le système ne traduit pas librement le texte. Au lieu de cela, il utilise un LLM pour extraire la structure logique et traduire uniquement les quantificateurs et les verbes copules en anglais, tout en conservant les termes sujets et prédicats dans leur langue source. Cela garantit une standardisation structurelle sans introduire de dérive lexicale qui pourrait altérer l'identité des termes.

B. Parsing Déterministe

Une fois normalisé, l'argument est converti en une chaîne canonique (Prémisse 1, Prémisse 2, Conclusion). Un analyseur déterministe (basé sur des expressions régulières) effectue les opérations suivantes :

• Classification des propositions : Chaque phrase est classée dans l'un des quatre types catégoriels classiques (A, E, I, O) : Tous S sont P, Aucun S n'est P, Certains S sont P, Certains S ne sont pas P.
• Extraction de la figure et de l'humeur (Mood) : L'analyseur détermine la position du terme moyen (figure) et l'ordre des types de propositions (humeur).
• Validation formelle : La validité est déterminée par une recherche dans une table de règles pré-définie (les 24 formes valides de la logique aristotélicienne). Si la paire (humeur, figure) correspond à une forme valide, l'argument est jugé valide. Sinon, il est invalide.
• Identification des prémisses pertinentes : Pour les arguments valides, le système identifie mécaniquement les deux prémisses nécessaires reliant S et P via M.

C. Validation

Contrairement aux approches par fine-tuning ou par intervention au niveau des activations, cette méthode ne repose pas sur l'apprentissage statistique pour le raisonnement final. Elle utilise le LLM uniquement comme outil de normalisation (traduction structurelle), tandis que la décision logique est prise par un algorithme symbolique déterministe.

3. Contributions Clés

• Réduction drastique des effets de contenu : En remplaçant le contenu sémantique par des symboles abstraits, la méthode élimine la capacité du modèle à utiliser ses connaissances du monde pour "tricher" sur la logique.
• Approche multilingue robuste : La stratégie de "pivot anglais" pour les quantificateurs permet de généraliser le raisonnement logique à des langues diverses sans nécessiter de modèles spécifiques par langue.
• Interprétabilité et déterminisme : Contrairement aux boîtes noires des LLM, chaque étape (normalisation, parsing, validation) est transparente et reproductible (seed fixe, température 0).
• Alternative au fine-tuning : La méthode démontre qu'une approche simple de normalisation + parsing peut surpasser des modèles complexes finement ajustés pour des tâches de raisonnement formel.

4. Résultats

L'évaluation a été réalisée sur le benchmark multilingue de SemEval-2026 Task 11, couvrant quatre sous-tâches (validité et prémisses pertinentes en anglais et en multilingue).

• Performance Globale : La méthode ITLC se classe dans le Top 5 pour toutes les sous-tâches.
• Précision et Biais (Anglais) :
  • Pour la validité logique, la méthode atteint 100 % de précision avec 0 % de biais (contre ~98,4 % et 2,13 de biais pour un LLM seul).
  • Pour l'identification des prémisses pertinentes, elle obtient une précision de 98,94 % et un score F1 de 95,43.
• Performance Multilingue :
  • L'ajout de la normalisation par pivot anglais (EPN) permet d'atteindre 100 % de précision et 0 % de biais sur la validité logique multilingue.
  • Sans traduction (Norm + Parsing seul), la précision chute légèrement (96,88 %) et le biais augmente, confirmant que la variabilité linguistique des quantificateurs brise le parsing si elle n'est pas normalisée.
• Réduction du Biais : Le score de biais de contenu est réduit de manière significative par rapport aux baselines LLM-only (par exemple, de 7,29 à 2,99 pour la pertinence des prémisses en multilingue avec EPN).

5. Signification et Conclusion

Ce travail démontre que pour les tâches de raisonnement formel, la structure est plus importante que la plausibilité sémantique.

• Limites des LLM purs : Les modèles purement statistiques échouent souvent à ignorer la vérité factuelle d'une conclusion (ex: "Les chats sont des animaux") pour juger de sa validité logique stricte.
• Avantage de l'approche symbolique : En forçant une abstraction totale du contenu, la méthode ITLC garantit la cohérence logique par construction.
• Impact : Cette approche offre une voie prometteuse pour développer des systèmes de raisonnement évolutifs, interprétables et fiables, capables de fonctionner dans des environnements multilingues sans nécessiter de modifications architecturales lourdes ou de ré-entraînement coûteux des modèles.

En résumé, l'article prouve qu'une combinaison judicieuse de normalisation guidée par LLM et de règles logiques déterministes constitue une solution supérieure et plus robuste pour le raisonnement syllogistique formel que l'utilisation directe des capacités de raisonnement des LLM.