💬 NLP

Measuring Representation Robustness in Large Language Models for Geometry

Cette étude présente GeoRepEval, un cadre d'évaluation démontrant que les grands modèles de langage présentent des lacunes de robustesse significative en géométrie, où le choix de la représentation (notamment vectorielle) peut réduire la précision jusqu'à 14 points de pourcentage, révélant ainsi une dépendance à des heuristiques spécifiques plutôt qu'à un raisonnement géométrique abstrait.

Auteurs originaux : Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧭 Le Problème : Les LLMs sont des "Touristes" en Géométrie

Imaginez que vous demandez à un guide touristique très intelligent (un Grand Modèle de Langage ou LLM) de vous expliquer comment aller d'un point A à un point B.

Si vous lui donnez les instructions en français (géométrie euclidienne), il vous répond parfaitement.
Si vous lui donnez les mêmes instructions en espagnol (géométrie vectorielle), il se trompe souvent, même si le trajet est exactement le même !

C'est le cœur de ce papier : les modèles d'IA actuels sont très forts en mathématiques, mais ils sont fragiles. Ils ne comprennent pas vraiment la vérité derrière le problème ; ils apprennent à reconnaître des formes de phrases. Si vous changez la façon de présenter le problème (la "représentation"), ils paniquent.

🔍 L'Expérience : Le Test "GeoRepEval"

Les chercheurs ont créé un laboratoire d'essai appelé GeoRepEval. Imaginez qu'ils ont pris 158 problèmes de géométrie de niveau lycée (comme calculer l'aire d'un triangle ou la distance entre deux points) et qu'ils les ont traduits dans trois "langages" différents :

Le Langage des Dessins (Euclidien) : "Un triangle a une base de 5 et une hauteur de 12..." (C'est le langage naturel, facile à visualiser).
Le Langage des Grilles (Coordonnées) : "Le point A est à (2, 3) et le point B est à (5, 7)..." (C'est comme une carte avec des axes X et Y).
Le Langage des Flèches (Vecteurs) : "Utilisez le produit vectoriel de $\vec{u}$ et $\vec{v}$ ..." (C'est le langage le plus abstrait et technique).

Ils ont demandé à 11 modèles d'IA différents (comme GPT, Claude, LLaMA) de résoudre ces mêmes problèmes dans ces trois langues.

📉 Ce qu'ils ont découvert : Le "Syndrome du Miroir Brisé"

Les résultats sont surprenants et un peu inquiétants :

Le paradoxe de la compétence : Un modèle peut être excellent en français (60 % de réussite) mais médiocre en espagnol (46 % de réussite) sur le même problème. C'est comme si un joueur de football était champion en jouant avec un ballon rond, mais perdait tout son talent s'il devait jouer avec un ballon carré, même si les règles du jeu sont les mêmes.
Le point faible : Les Vecteurs. Les modèles échouent massivement sur les problèmes présentés sous forme de vecteurs. C'est comme si l'IA avait oublié comment utiliser ses "bras" quand on lui demande de faire des mouvements complexes, alors qu'elle sait très bien marcher (Euclidien).
La fausse confiance : Souvent, l'IA donne la même mauvaise réponse, peu importe la langue utilisée. Elle est cohérente dans son erreur, mais pas correcte.

🛠️ La Solution Magique : "Traduis d'abord, puis résous"

C'est la partie la plus intéressante. Les chercheurs ont testé une astuce simple : au lieu de demander directement la réponse en "langage vecteur", ils ont dit à l'IA :

"Attends, avant de résoudre ce problème de vecteurs, traduis-le d'abord en langage simple (Euclidien), puis résous-le."

Le résultat ?

Pour les modèles puissants (les "génies"), la réussite a explosé ! Ils sont passés de 45 % à 97 % de réussite.
Ce que cela signifie : L'IA n'était pas "bête" ou incapable de faire les maths. Elle était juste bloquée par la forme du problème. Une fois qu'on lui a donné une "béquille" (la traduction), elle a retrouvé toute sa capacité.
Pour les modèles faibles, l'astuce n'a rien changé. Eux, ils ont vraiment besoin de plus de "cerveau" (de capacité), pas juste d'une meilleure formulation.

🎓 La Leçon à retenir

Ce papier nous dit une chose importante : Ne vous fiez pas à un seul test.

Si vous testez une IA sur un seul type de problème, vous avez l'impression qu'elle est un génie. Mais si vous changez légèrement la façon de poser la question, elle peut s'effondrer.

L'analogie finale : Imaginez un étudiant qui apprend par cœur les réponses d'un manuel. Si l'examen change la formulation d'une question, il est perdu. Les modèles actuels sont comme ces étudiants : ils ne "comprennent" pas la géométrie de manière abstraite, ils reconnaissent des motifs.

En résumé : Les chercheurs ont prouvé que pour avoir de vraies intelligences artificielles robustes, il faut les tester sous toutes les coutures, pas juste dans leur langue maternelle. Et parfois, la meilleure façon de les aider, c'est de leur apprendre à se traduire eux-mêmes !

1. Problématique

Bien que les Grands Modèles de Langage (LLM) fassent preuve de capacités croissantes en raisonnement mathématique, leur robustesse face aux changements de représentation d'un même problème reste mal comprise. En géométrie, un problème identique peut être formulé de trois manières sémantiquement équivalentes mais structurellement distinctes :

Euclidienne : Forme verbale/relationnelle (ex: "le triangle ABC est isocèle...").
Cartésienne (Coordonnées) : Utilisation du plan cartésien et des coordonnées $(x, y)$ .
Vectorielle : Utilisation des opérations vectorielles (produit scalaire, produit vectoriel, normes).

Les benchmarks existants évaluent généralement les modèles sur un format fixe, supposant implicitement une invariance de représentation. Cette approche masque les échecs causés uniquement par le changement de format. L'article pose la question centrale : les LLMs possèdent-ils un raisonnement géométrique abstrait, ou dépendent-ils d'heuristiques spécifiques à une représentation particulière (biais d'entraînement) ?

2. Méthodologie : Le Framework GeoRepEval

Les auteurs proposent GeoRepEval, un cadre d'évaluation conscient de la représentation, structuré en quatre étapes :

Construction du Dataset :
- Sélection de 158 problèmes de géométrie de niveau lycée (issus de manuels indiens standard : NCERT, RD Sharma, RS Aggarwal).
- Chaque problème est généré en trois variantes parallèles (Euclidienne, Cartésienne, Vectorielle) en conservant les mêmes contraintes mathématiques et la même solution.
- Vérification manuelle par des experts mathématiques pour garantir l'équivalence sémantique et l'unicité de la réponse.
- Total : 474 instances (158 problèmes $\times$ 3 représentations).
Inférence Contrôlée :
- Évaluation de 11 LLMs (modèles open-weight comme LLaMA, Gemma, Mistral, et modèles propriétaires comme GPT, Claude, Gemini).
- Conditions strictes : zéro-shot, température 0.0, réponse extraite via JSON structuré.
- Comparaison des réponses prédites avec les solutions or (gold) via une normalisation stricte (fractions, racines, $\pi$ ).
Métriques d'Évaluation :
- Invariance@3 : Fraction de problèmes résolus correctement dans les trois représentations simultanément. C'est la métrique clé de la robustesse.
- Consistency@3 : Fraction de problèmes où le modèle produit la même réponse (correcte ou non) dans les trois variantes.
- Analyse des motifs d'échec : Classification des patterns (ex: CCC = Correct partout, CCW = Correct en Euclidien/Cartésien mais Faux en Vectoriel).
- Tests statistiques : Tests appariés de McNemar et intervalles de confiance par bootstrap pour valider la significativité des écarts.
Intervention de Prompting :
- Mise en place d'une stratégie "Convert-then-Solve" : Le modèle est d'abord invité à reformuler le problème (souvent vectoriel) en une forme Euclidienne avant de le résoudre, afin de tester si l'échec est dû à la représentation ou à une incapacité de raisonnement.

3. Contributions Clés

Framework GeoRepEval : Une méthodologie statistiquement fondée avec des métriques formelles (Invariance@3, Consistency@3) qui décomposent la précision en composantes "robustes" et "fragiles".
Benchmark Parallèle : Un ensemble de données unique de 158 problèmes géométriques fondamentaux, chacun instantié en trois formes mathématiquement équivalentes.
Analyse Empirique et Explicative : Identification de lacunes de performance massives et proposition d'hypothèses sur les causes (complexité de surface, longueur des chaînes procédurales, distribution des données d'entraînement).
Intervention de Prompting : Démonstration qu'une stratégie de conversion peut restaurer les performances, prouvant que certains échecs sont liés à la sensibilité à la représentation et non à un manque de capacité fondamentale.

4. Résultats Principaux

L'évaluation de 11 modèles sur 474 instances révèle des résultats surprenants et inquiétants :

Écarts de Performance Significatifs : La précision varie considérablement selon la représentation. Les formulations Euclidiennes obtiennent systématiquement les meilleurs résultats, tandis que les formulations Vectorielles sont les plus faibles.
- L'écart de précision peut atteindre 14 points de pourcentage (ex: Claude-Haiku : 60% en Euclidien vs 46% en Vectoriel).
Faible Invariance : La métrique Invariance@3 est extrêmement basse pour la plupart des modèles.
- Seuls les modèles les plus performants (GPT-OSS-20B) atteignent un Invariance@3 > 0.66.
- Les modèles de capacité inférieure (ex: LLaMA-3.1-8B) ont un Invariance@3 de 0.044, signifiant que moins de 5% des problèmes sont résolus correctement dans les trois formes.
Le Vecteur comme Point de Rupture : L'analyse des motifs d'échec montre que le motif CCW (Correct en Euclidien et Cartésien, Faux en Vectoriel) est 2 à 5 fois plus fréquent que le motif WCC (échec uniquement en Euclidien). Cela indique que les modèles appliquent des "modèles" de raisonnement Euclidien avec fluidité mais échouent dans l'exécution procédurale des vecteurs.
Impact de l'Intervention "Convert-then-Solve" :
- Pour les modèles de capacité moyenne et élevée, convertir le problème vectoriel en Euclidien avant de résoudre améliore la précision vectorielle de jusqu'à 52 points de pourcentage.
- Cela suggère que les modèles possèdent le concept sous-jacent mais échouent à cause de la sensibilité à la forme vectorielle.
- Limitation : Les modèles de faible capacité (ex: LLaMA-3.1-8B) ne montrent aucun gain, indiquant des limitations de raisonnement plus profondes que la simple sensibilité à la représentation.

5. Signification et Implications

Fragilité du Raisonnement Abstrait : Les résultats suggèrent que les LLMs actuels ne raisonnent pas de manière purement abstraite en géométrie. Ils reposent sur des heuristiques spécifiques à la représentation (probablement ancrées dans les données d'entraînement, où la géométrie vectorielle est moins fréquente ou plus complexe).
Biais des Benchmarks Actuels : Évaluer un modèle uniquement sur un format (souvent Euclidien ou textuel) surestime sa capacité de raisonnement général et masque ses vulnérabilités.
Sécurité et Fiabilité : Pour les applications critiques, le choix de la représentation d'un problème peut matériellement affecter la fiabilité du modèle. GeoRepEval offre un outil pour diagnostiquer ces risques.
Limites de Capacité vs Sensibilité : La réussite de l'intervention de conversion pour les grands modèles mais son échec pour les petits modèles établit une frontière : les modèles puissants souffrent principalement de sensibilité à la représentation, tandis que les modèles plus faibles souffrent de limitations intrinsèques de raisonnement.

En conclusion, l'article démontre que la robustesse des LLMs en géométrie est loin d'être acquise et que l'invariance de représentation doit devenir une métrique standard pour évaluer la véritable intelligence mathématique des modèles.