Parallelograms Strike Back: LLMs Generate Better Analogies than People

1. Problématique

L'étude des analogies à quatre termes (de la forme $A:B :: C:D$) a longtemps été modélisée géométriquement par le modèle du parallélogramme (Rumelhart & Abrahamson, 1973). Ce modèle postule que les relations sémantiques sont représentées par des vecteurs dans un espace géométrique, où la solution $D$ est obtenue par l'opération vectorielle $v(D) \approx v(C) + (v(B) - v(A))$.

Cependant, des travaux récents (Peterson et al., 2020) ont remis en cause ce modèle pour expliquer la production humaine d'analogies. Ils ont montré que les humains semblent souvent ignorer la relation vectorielle stricte pour privilégier des heuristiques de similarité locale (choisir un mot très similaire à $C$, indépendamment de la relation $A:B$).

La question centrale de cet article est de savoir si l'échec apparent du modèle du parallélogramme à décrire la production humaine est dû à :

1. Une mauvaise modélisation des relations analogiques elles-mêmes.
2. Une incapacité des humains à produire des analogies respectant cette contrainte relationnelle, malgré leur capacité à les reconnaître.

Les auteurs utilisent l'émergence des Grands Modèles de Langage (LLM) pour tester cette hypothèse, en comparant leurs performances à celles des humains sur les mêmes tâches.

2. Méthodologie

Données et Stimuli :

• Les auteurs ont utilisé un ensemble de 846 analogies issues de Peterson et al. (2020), couvrant 20 types de relations sémantiques (ex: inclusion de classe, contraste, cause-effet).
• Modèles LLM testés : Six modèles de pointe (2 fermés : GPT-5-mini, o4-mini ; 4 open-source : DeepSeek-V3.1, Qwen3-235B, Qwen3-32B, Gemma-3-27B).
• Protocole de génération : Chaque analogie a été soumise aux modèles avec 4 formulations de prompt différentes, répétées 10 fois (température = 1.0), générant au total 203 040 réponses LLM.

Évaluation Humaine :

• Participants : 390 locuteurs natifs anglophones recrutés via Prolific.
• Tâche : Évaluation sur une échelle de 1 à 7 de la similarité relationnelle entre la paire $(C, D)$ et la paire $(A, B)$.
• Stimuli : 4048 analogies construites à partir des réponses humaines (Peterson et al.) et des réponses LLM générées.

Analyses Techniques :

• Espace d'embedding : Utilisation de vecteurs GloVe (300 dimensions) pour représenter les mots.
• Métriques de prédiction : Comparaison de trois règles pour prédire les réponses :
  1. Modèle du parallélogramme : $v(D) = v(C) + v(B) - v(A)$.
  2. Similarité $C:D$ : Classement basé uniquement sur la similarité avec $C$.
  3. Heuristique du plus proche voisin (NN) : Choix entre similarité avec $B$ ou $C$ selon la proximité de $A$.
• Mesure de performance : Proportion cumulative récupérée (CPR) et régression multiple pour prédire les notes humaines.
• Analyse interne : Extraction des représentations des couches résiduelles des modèles open-source pour vérifier si l'alignement géométrique existe dans leurs représentations internes.

3. Résultats Clés

A. Qualité perçue des analogies

• Les analogies générées par les LLM sont systématiquement jugées meilleures par les humains que celles générées par les humains (différence de moyenne significative pour 5 des 6 modèles).
• L'avantage varie selon le type de relation (ex: plus marqué pour les relations d'état, moins marqué pour les relations de contraste).

B. Prédiction par les modèles géométriques

• Les trois règles (parallélogramme, similarité locale, NN) prédisent mieux les réponses des LLM que celles des humains.
• Paradoxe du parallélogramme : Bien que les heuristiques de similarité locale ($C:D$) restent les meilleurs prédicteurs globaux pour les deux groupes, l'écart de performance entre le modèle du parallélogramme et les heuristiques locales est beaucoup plus faible pour les LLM que pour les humains. Les LLM respectent davantage la structure géométrique.

C. Facteurs prédictifs de la qualité
Une analyse de régression révèle que les notes plus élevées des LLM sont prédites par :

1. Un meilleur alignement au parallélogramme dans l'espace GloVe ($\beta > 0$).
2. Une fréquence de mot plus faible (moins accessible lexicalement) ($\beta < 0$).
3. La similarité locale ($C:D$) ne prédit pas positivement la qualité ; au contraire, une trop grande similarité avec $C$ est parfois associée à une note plus basse.

D. Représentations internes vs Espace externe

• L'alignement au parallélogramme dans l'espace GloVe prédit très bien les jugements humains.
• En revanche, l'alignement calculé sur les représentations internes des LLM (couches résiduelles) est un prédicteur beaucoup plus faible.
• Conclusion partielle : Les LLM ne génèrent pas nécessairement de meilleures analogies parce que leurs représentations internes sont plus "géométriques", mais parce qu'ils produisent des mots qui satisfont la contrainte relationnelle telle qu'elle est capturée par les espaces d'embedding distributionnels.

E. L'effet de la "Longue Traîne" (Long Tail)

• La distribution des réponses humaines est très dispersée (la réponse modale ne représente que 64% des réponses), tandis que les LLM sont plus concentrés (85%).
• Point crucial : Lorsque l'on compare uniquement les réponses modales (les plus fréquentes) des humains et des LLM, l'avantage des LLM disparaît. Les deux groupes produisent des réponses de qualité équivalente pour les cas les plus fréquents.
• L'avantage global des LLM provient donc de leur capacité à éviter la "longue traîne" de réponses faibles et peu pertinentes que les humains produisent souvent.

4. Contributions Principales

1. Réhabilitation partielle du modèle du parallélogramme : L'article démontre que le modèle du parallélogramme n'est pas un "mauvais modèle" des relations analogiques. Il capture ce que les humains considèrent comme une "bonne" analogie, même si les humains échouent souvent à la produire eux-mêmes.
2. Distinction entre génération et évaluation : Les humains peuvent reconnaître une bonne analogie (basée sur la géométrie relationnelle) mais ont du mal à la générer sous contrainte de temps ou de charge cognitive, se rabattant sur des heuristiques locales. Les LLM, eux, réussissent à satisfaire cette contrainte relationnelle plus systématiquement.
3. Rôle de l'accessibilité lexicale : Les LLM utilisent des mots moins fréquents (moins accessibles) que les humains, ce qui contribue à la perception de qualité, indépendamment de la structure relationnelle.
4. Méthodologie de comparaison LLM-Humain : L'étude établit un cadre rigoureux pour comparer les distributions de réponses et les mécanismes sous-jacents, montrant que les avantages des LLM ne sont pas uniformes mais dépendent de la réduction des erreurs de "longue traîne".

5. Signification et Implications

Cette étude suggère que les modèles géométriques classiques de l'analogie conservent une validité psychologique forte : ils décrivent la structure de la qualité d'une analogie telle qu'elle est évaluée par les humains.

L'échec précédent du modèle du parallélogramme à expliquer la production humaine ne signifie pas que la relation vectorielle est inexistante dans le cerveau, mais plutôt que la production d'analogies est un processus cognitif coûteux où les humains optent souvent pour des raccourcis (similarité locale) ou échouent à maintenir la contrainte relationnelle stricte.

Les LLM, grâce à leur entraînement sur d'énormes corpus, semblent avoir internalisé des contraintes qui leur permettent de produire plus souvent des réponses satisfaisant la géométrie du parallélogramme, même si leur mécanisme interne de génération ne semble pas opérer par une simple arithmétique vectorielle visible. Cela ouvre la voie à une meilleure compréhension de la raison et de la créativité, en utilisant les systèmes artificiels comme miroir pour révéler les biais de production humaine.