Résumé technique : Ne jugez pas un livre à sa couverture : Tester la robustesse des LLM sous l'obfuscation logique

Énoncé du problème

Malgré les capacités impressionnantes des grands modèles de langage (LLM) dans les tâches de raisonnement standard — telles que la résolution d'équations arithmétiques, l'évaluation de tables de vérité et la complétion de syllogismes — ces modèles présentent une fragilité significative face à des problèmes logiquement équivalents présentés sous des formats obscurcis. Alors que les benchmarks actuels (par exemple, MMLU, BIG-Bench Hard) ne mesurent souvent que la réponse finale, permettant aux modèles de réussir via l'appariement de motifs superficiels ou la mémorisation, ils échouent à distinguer le véritable raisonnement logique de la récupération de motifs issus des données d'entraînement.

Le problème central abordé est l'incapacité des LLM de pointe à maintenir la cohérence du raisonnement lorsque la forme de surface d'un problème est modifiée alors que sa structure logique sous-jacente reste invariante. Comme le notent des critiques et des chercheurs (par exemple, Smolinski, 2024 ; Vafa et al., 2024), les modèles peuvent produire des sorties impressionnantes sans pour autant reconstruire le modèle du monde sous-jacent, s'effondrant face à de simples détours ou reformulations. Ce document étudie si les LLM raisonnent réellement ou s'ils exploitent simplement des motifs mémorisés en testant systématiquement leur robustesse contre l'obfuscation logique.

Méthodologie

Le cadre Logifus

Pour étudier cette vulnérabilité, les auteurs introduisent Logifus, un cadre d'obfuscation logique préservant la structure. Logifus fonctionne comme une application $f: Q \to Q'$, où $Q$ est un ensemble de questions originales et $Q'$ est un ensemble de contreparties logiquement équivalentes mais syntaxiquement diverses (obscurcies). Le principe fondamental est que, bien que la représentation linguistique ou structurelle de surface soit altérée, la solution correcte demeure invariante. Cela contraint les modèles à s'engager dans un raisonnement plus profond plutôt que de compter sur le rappel de surface.

Le cadre génère des variantes obscurcies via des stratégies de transformation spécifiques adaptées à différents domaines de raisonnement :

1. Équivalences logiques : Application de règles telles que les lois de De Morgan ou l'élimination de la double négation aux prémisses de la logique du premier ordre (FOL).
2. Chaînes relationnelles : Réécriture d'énoncés de parenté directs en descriptions indirectes à plusieurs étapes (par exemple, transformer « A est le frère de B » en « A est le mari de la belle-sœur de B »).
3. Substitutions symboliques : Remplacement de valeurs numériques dans des séquences par des jetons (tokens) déterministes mais opaques, tels que des noms de planètes, des sommes ASCII de ces noms ou des hachages MD5.
4. Détours spatiaux : Insertion de paires de vecteurs s'annulant mutuellement (par exemple, marcher vers le Nord puis vers le Sud) dans des parcours de navigation pour augmenter la complexité sans changer le déplacement net.

Le benchmark LogiQAte

En s'appuyant sur Logifus, les auteurs présentent LogiQAte, un benchmark diagnostique comprenant 1 108 questions réparties en quatre tâches de raisonnement distinctes :

1. Obfus FOL : 272 questions évaluant l'implication de la logique du premier ordre sous des réécritures préservant l'équivalence.
2. Obfus Blood Relation (Parenté) : 300 questions testant le raisonnement sur les graphes de parenté sous des chaînes relationnelles indirectes (complexité de Niveau 1 et Niveau 2).
3. Obfus Number Series (Séries numériques) : 284 questions nécessitant la détection de motifs inductifs sous des substitutions symboliques (types Nom de Planète, Somme ASCII et Hachage MD5).
4. Obfus Direction Sense (Sens de la direction) : 252 questions évaluant le raisonnement de navigation sous des directions et des référentiels modifiés.

Validation : Pour garantir l'intégrité, chaque question de base et sa version obscurcie ont subi un processus de validation rigoureux impliquant deux annotateurs humains et, pour les tâches FOL, le prouveur de théorèmes automatisé Prover9. Cela a assuré un accord quasi parfait (Cohen's $\kappa > 0,88$) sur l'équivalence logique et la préservation de la conclusion.

Configuration de l'évaluation

Le benchmark a été évalué sur neuf modèles de pointe (sources ouvertes et fermées), incluant des modèles généralistes (GPT-4o, Claude 3.7 Sonnet) et des modèles axés sur le raisonnement (GPT-5, o4-mini, Qwen QwQ-32B, Gemini 2.5 Pro). Les évaluations ont été menées dans des contextes de prompting zero-shot, few-shot et de chaîne de pensée (Chain-of-Thought ou CoT) avec une température de 0,0. La performance a été mesurée via la précision de correspondance exacte (Exact Match - EM).

Résultats clés

Dégradation des performances

À travers toutes les tâches et tous les modèles, l'obfuscation logique dégrade sévèrement les performances en zero-shot.

• Chute moyenne : La chute de performance moyenne sur toutes les tâches et configurations est de 28,8 %.
• Spécificités des modèles :
  • GPT-4o : A chuté de 47 % en moyenne.
  • GPT-5 : A chuté de 27 % en moyenne.
  • o4-mini : A chuté de 22 % en moyenne.
  • Modèles de raisonnement : Même les modèles spécifiquement optimisés pour le raisonnement (par exemple, GPT-5) ont connu des déclins significatifs, passant de 98 % à 56 % sur Obfus FOL (zero-shot).
  • Modèles généralistes : Ont connu des chutes plus drastiques, certaines tâches montrant des déclins allant jusqu'à 87 % (par exemple, GPT-4o sur Obfus Number Series).

Vulnérabilités par tâche

• Obfus Blood Relation : A montré un déclin constant à mesure que la complexité passait du Niveau 1 au Niveau 2. Par exemple, Claude 3.7 (CoT) est passé de 59 % sur les questions de base à 24 % sur l'obfuscation de Niveau 2.
• Obfus Number Series : S'est avéré particulièrement punitif pour les modèles généralistes, qui ont eu du mal à identifier les motifs lorsque les nombres étaient remplacés par des noms de planètes ou des hachages MD5.
• Obfus Direction Sense : A mis en évidence des faiblesses dans le suivi d'état, les modèles échouant à filtrer les détours s'annulant mutuellement.

Stratégies de prompting

Les stratégies de prompting avancées comme le Few-shot et la Chaîne de Pensée (CoT) n'ont apporté qu'un soulagement partiel, et non une robustesse. Bien que la CoT ait réduit la dégradation de GPT-5 de 27 % à 18,7 %, l'effet est resté incohérent selon les modèles. Notamment, les modèles plus petits (par exemple, GPT-4o-mini, Llama-4-Maverick) ont montré une fragilité encore plus grande, leur précision s'effondrant de manière significative sous l'effet de l'obfuscation.

Analyse mécaniste

Pour comprendre les modes de défaillance, les auteurs ont mené des analyses intrinsèques sur LLaMA 3.1 8B :

1. Sensibilité à la mémorisation : En utilisant l'inférence d'appartenance Min-K%++, l'étude a révélé que les questions obscurcies déclenchaient une dépendance accrue aux motifs mémorisés. Les scores d'AUROC de prédiction ont augmenté de 12 à 15 % pour Obfus FOL et de 20 à 25 % pour Obfus Blood Relation, indiquant que les modèles s'appuient davantage sur les motifs des données d'entraînement lorsque les formes de surface sont obscurcies.
2. Confiance par couche : L'analyse des probabilités de log du prochain jeton a révélé un effondrement de la confiance de 50 à 80 % dans les couches tardives (28–31) du transformer lors du traitement de questions obscurcies par rapport aux questions de base. Cela suggère que l'obfuscation perturbe la consolidation sémantique profonde requise pour un raisonnement véritable.

Signification et contributions

Le papier apporte trois contributions principales :

1. Logifus : Un nouvel algorithme de préservation de la structure pour générer des questions logiquement obscurcies qui maintiennent l'équivalence logique tout en modifiant la syntaxe de surface.
2. LogiQAte : Le premier benchmark de ce type comprenant 1 108 questions à travers quatre tâches de raisonnement, conçu pour évaluer rigoureusement la robustesse des LLM face à l'obfuscation logique.
3. Preuve empirique : Une analyse complète démontrant que les LLM actuels, y compris les modèles de raisonnement de pointe, analysent les questions sans compréhension profonde. Les conclusions soulignent un fossé critique entre l'appariement de motifs et le raisonnement robuste, montant que les modèles échouent lorsque la « couverture » du problème est changée, même si le « contenu » (la logique) reste le même.

Les auteurs concluent que la dégradation observée souligne l'urgence de construire des modèles qui comprennent véritablement et préservent le sens au-delà de la forme de surface, plutôt que de simplement mémoriser et faire correspondre des motifs appris à partir des données d'entraînement.

Limites

Les auteurs notent que LogiQAte est actuellement limité à l'anglais. Les travaux futurs visent à étendre le jeu de données pour inclure des données multilingues (particulièrement pour les langues à faibles ressources) et étendre le cadre à des catégories de raisonnement supplémentaires telles que les arrangements de sièges et l'inférence de sens commun.