Résumé technique : Le paradigme du « Riddle Riddle »

Énoncé du problème

Bien que les grands modèles de langage (LLM) fassent preuve d'une grande précision sur divers tests de référence cognitifs, il reste incertain de savoir si cette performance découle d'un raisonnement flexible ou de la récupération de motifs de surface issus des données d'entraînement. Comme le raisonnement lui-même fait partie des corpus d'entraînement, les modèles peuvent apprendre à imiter l'apparence du raisonnement (par exemple, reconnaître la structure d'une énigme et produire une réponse « piège ») sans évaluer le contenu réel du problème. Les tests de référence existants échouent souvent à distinguer un modèle qui a mémorisé une solution d'un modèle qui sélectionne dynamiquement une stratégie de raisonnement appropriée. Le défi central consiste à concevoir un paradigme capable de séparer la structure de surface d'un problème de ses exigences de contenu.

Méthodologie

Les auteurs introduisent le paradigme du « Riddle Riddle », un cadre de diagnostic utilisant des paires de problèmes de mots appariés pour tester la sélection de stratégies.

Conception des stimuli

Le paradigme est composé de 30 paires appariées, chacune contenant deux conditions :

1. Condition A (Énigme authentique) : Une énigme standard nécessitant un raisonnement inventif et non littéral pour résoudre une contradiction apparente (ex. : « Un cowboy entre en ville un vendredi... et en ressort un vendredi », où « Vendredi » est le nom du cheval).
2. Condition B (Riddle Riddle) : Une version modifiée de la même énigme qui préserve la structure syntaxique, la formulation et la longueur des phrases, mais supprime le « piège ». Ces problèmes ne nécessitent qu'une interprétation littérale (ex. : « Un cowboy entre en ville un vendredi... et en ressort un lundi », où la réponse est simplement un calcul de jours).

Cette conception garantit que toute différence de performance est uniquement dictée par le contenu du problème plutôt que par le sujet, le format ou la formulation.

Protocole expérimental

L'étude comprend deux expériences :

• Expérience 1 (LLM) : Test de neuf modèles de pointe (incluant GPT-5.4, Claude-opus-4-6, Gemini-3.1-Pro, ainsi que des variantes open-source comme Llama-3.3 et Qwen3.5). Chaque modèle a reçu 30 énigmes et 30 « riddle riddles » avec 10 répétitions par élément. Les réponses ont été codées selon la précision et le type de raisonnement (inventif vs littéral). Une « vérification de mémorisation » a également été effectuée via la complétion partielle de prompts pour évaluer si la haute performance sur les énigmes authentiques était due à un rappel verbatim.
• Expérience 2 (Humains) : 100 participants humains ont résolu 6 éléments (3 de chaque condition) dans un cadre contrôlé. Les réponses ont été codées de manière similaire aux données des LLM.

Analyse

Les auteurs ont utilisé une régression logistique à effets mixtes pour analyser la précision et la sélection de la stratégie de raisonnement. Ils ont comparé la performance entre les conditions et entre les solveurs (humains vs LLM), en recherchant spécifiquement les « erreurs de diagnostic » :

• Surgénéralisation : Appliquer un raisonnement inventif à un problème qui ne nécessite qu'une interprétation littérale.
• Sous-généralisation : Appliquer un raisonnement littéral à un problème qui nécessite une interprétation inventive.

Résultats clés

1. Modèles de performance opposés

L'étude a révélé une dissociation claire entre la performance humaine et celle des LLM :

• LLM : Ont obtenu des résultats nettement meilleurs sur les Énigmes authentiques (84,9 % de précision) que sur les Riddle Riddles (50,7 %).
• Humains : Ont obtenu des résultats nettement meilleurs sur les Riddle Riddles (80,5 %) que sur les Énigmes authentiques (50,5 %).

2. Sélection de stratégie et analyse des erreurs

• Comportement des LLM : Les LLM ont systématiquement étendu de manière inappropriée le raisonnement inventif. Sur les Riddle Riddles (où le raisonnement littéral était suffisant), 90,8 % des erreurs des LLM étaient causées par l'application inappropriée d'un raisonnement inventif. Même lorsque les modèles changeaient de stratégie, ils le faisaient avec moins de flexibilité que les humains.
• Comportement humain : Les humains ont montré une préférence pour le raisonnement littéral mais ont fait preuve d'une plus grande flexibilité. Leur principal mode d'erreur était la sous-généralisation (57,6 % de leurs erreurs sur les Énigmes authentiques), où ils ne parvenaient pas à passer au raisonnement inventif quand cela était nécessaire.
• Mémorisation : Une forte corrélation ($\rho = .88$) a été trouvée entre la capacité d'un modèle à se rappeler les énigmes authentiques de manière verbatim (via la complétion partielle de prompt) et sa précision sur ces énigmes. Crucialement, une mémorisation plus élevée prédisait une précision plus faible sur les Riddle Riddles correspondants, suggérant que les modèles récupèrent des réponses plutôt que de raisonner.

3. Exactitude du raisonnement

Lorsqu'on mesurait si la bonne stratégie était utilisée (indépendamment de la réponse finale), les LLM montraient une baisse significative de l'exactitude sur les Riddle Riddles par rapport aux Énigmes authentiques, confirmant que le formatage seul déclenchait le mauvais mode de raisonnement.

Contributions clés

1. Le paradigme du « Riddle Riddle » : Un nouveau design expérimental qui isole les caractéristiques de surface des exigences de contenu, permettant aux chercheurs de tester si un système sélectionne des stratégies basées sur « ce à quoi un problème ressemble » ou sur « ce qu'un problème exige ».
2. Preuve d'un raisonnement piloté par la surface : L'étude fournit des preuves empiriques que les LLM de pointe actuels s'appuient fortement sur les caractéristiques de surface (structure de type énigme) pour déclencher des heuristiques de raisonnement spécifiques, même lorsque ces heuristiques sont inappropriées pour le contenu spécifique.
3. Dissociation de la cognition humaine et des modèles : L'article démontre que si les humains et les LLM commettent tous deux des erreurs de raisonnement, la nature de leurs erreurs est inversée. Les humains peinent à outrepasser les modes littéraux pour les tâches créatives, tandis que les LLM peinent à outrepasser les modes créatifs pour les tâches littérales.

Signification et affirmations

Les auteurs affirment que le paradigme du Riddle Riddle révèle une limitation fondamentale des LLM actuels : ils n'ont pas encore atteint un raisonnement flexible au sens d'une sélection dynamique de stratégies basée sur les demandes du problème. Au lieu de cela, leur haute performance sur les énigmes standards reflète probablement la récupération de motifs mémorisés ou de « modèles de raisonnement » vus durant l'entraînement.

L'article soutient que les mesures de précision globale peuvent être trompeuses ; un modèle peut sembler bien raisonner sur un test de référence simplement parce que la structure du test déclenche systématiquement un motif à haute fréquence dans la distribution d'entraînement du modèle. Le paradigme du Riddle Riddle expose cela en créant un « piège » où la structure suggère une stratégie (inventive) mais le contenu exige une autre (littérale).

Les auteurs concluent que distinguer le raisonnement véritable de la reconnaissance de formes est crucial pour l'interprétabilité et la confiance, en particulier à mesure que les LLM sont déployés dans des domaines exigeant une résolution de problèmes novatrice. Ils suggèrent modestement que, bien que les modèles actuels soient sensibles à la fréquence des motifs de tâches dans les données d'entraînement, ils manquent de la capacité d'évaluer si une instance spécifique nécessite réellement ce motif.