LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models

Ce sondage de données-driven examine l'évolution rapide des recherches sur les limites des grands modèles de langage (LLLMs) de 2022 à 2025, révélant une croissance exponentielle des publications axées sur le raisonnement, les hallucinations et la sécurité, tout en offrant une méthodologie validée et un jeu de données annotées.

Aida Kostikova, Zhipin Wang, Deidamea Bajri, Ole Pütz, Benjamin Paaßen, Steffen Eger

Publié 2026-03-12
📖 5 min de lecture🧠 Analyse approfondie

Each language version is independently generated for its own context, not a direct translation.

Voici une explication de cette recherche, imagée et simplifiée, comme si on en parlait autour d'un café.

🧠 Le Grand Inventaire des "Pieds de Terre" des Intelligences Artificielles

Imaginez que les Grands Modèles de Langage (LLM), comme ceux qui font tourner les chatbots actuels, soient des super-héros nouvellement arrivés dans notre ville. Ils sont incroyablement forts : ils écrivent des poèmes, résolvent des problèmes de maths et traduisent des langues. Mais comme tout super-héros, ils ont des faiblesses (leurs "pieds de terre").

Cette étude, menée par une équipe de chercheurs allemands, est un grand inventaire de toutes les faiblesses de ces super-héros. Au lieu de simplement regarder un seul défaut (comme "ils mentent parfois"), ils ont voulu voir tous les défauts en même temps, en analysant une montagne de documents scientifiques.

Voici comment ils ont fait et ce qu'ils ont découvert, avec des analogies simples :


🔍 1. La Méthode : Une Enquête avec des Détectives Robots

Les chercheurs ne pouvaient pas lire manuellement 250 000 articles scientifiques (ce serait comme essayer de boire l'océan avec une paille !). Alors, ils ont utilisé une approche intelligente :

  • Le Tamis Numérique : Ils ont d'abord passé tous les articles à travers un tamis fait de mots-clés pour garder seulement ceux qui parlaient de ces IA.
  • Les Détectives Robots (IA) : Ensuite, ils ont demandé à d'autres IA très puissantes (comme des détectives robots) de lire les résumés de ces articles et de dire : "Est-ce que cet article parle d'un problème de l'IA ? Si oui, quel est le problème ?".
  • La Vérification Humaine : Pour être sûrs que les robots ne faisaient pas d'erreurs, des humains experts ont vérifié un échantillon. C'est comme si un chef cuisinier goûtait le plat préparé par un robot pour s'assurer qu'il est bon.
  • Le Tri par Thèmes : Enfin, ils ont regroupé les articles par "famille" de problèmes, un peu comme trier des vêtements par couleur et taille, pour voir quels problèmes sont les plus fréquents.

📈 2. La Courbe de Croissance : Une Explosion !

Entre 2022 et 2025, le nombre d'articles sur ces IA a explosé.

  • L'analogie : Imaginez une petite boutique de bonbons qui devient un supermarché géant en trois ans.
  • Le résultat : En 2022, très peu de gens s'intéressaient aux défauts des IA. Aujourd'hui, un article sur trois qui parle d'IA parle aussi de ses problèmes. C'est le signe que la communauté scientifique passe de l'étape "Ouah, c'est magique !" à l'étape "Attends, est-ce que c'est sûr ?".

🏆 3. Les Top 5 des Défauts (Les "Super-Vilains")

En regardant tous ces articles, les chercheurs ont identifié les problèmes les plus fréquents. Voici le podium :

  1. Le Raisonnement (Le cerveau qui décroche) : C'est le problème n°1. Les IA sont parfois très fortes pour répéter des choses, mais elles ont du mal à faire de la vraie logique, comme résoudre une énigme complexe ou comprendre une blague.
    • Analogie : C'est comme un élève qui a appris par cœur tout le manuel de physique, mais qui panique dès qu'on lui pose une question un peu différente.
  2. L'Hallucination (Le menteur confiant) : L'IA invente des faits, des dates ou des noms avec une telle assurance que l'on finit par y croire.
    • Analogie : C'est comme un touriste qui vous donne des directions très précises pour aller à la plage, mais qui vous emmène en fait dans un champ de patates.
  3. La Généralisation (Le spécialiste qui échoue partout ailleurs) : L'IA est excellente dans le contexte où elle a été entraînée, mais dès qu'on la sort de sa zone de confort, elle perd ses moyens.
    • Analogie : Un joueur de football professionnel qui joue parfaitement en Europe, mais qui ne sait pas comment jouer au rugby dès qu'il change de terrain.
  4. Les Biais (Les préjugés) : Les IA apprennent sur internet, et internet est rempli de stéréotypes. Donc, l'IA peut devenir raciste, sexiste ou injuste sans le vouloir.
    • Analogie : C'est comme un miroir qui reflète non pas votre visage, mais tous les préjugés de la foule qui passe devant lui.
  5. La Sécurité (La porte ouverte) : Il est parfois facile de "pirater" l'IA pour lui faire dire des choses dangereuses ou révéler des secrets.
    • Analogie : C'est comme avoir une maison très belle, mais dont la porte d'entrée reste ouverte pour n'importe qui.

🌍 4. La Différence entre les "Lieux" (ACL vs arXiv)

Les chercheurs ont comparé deux types de "lieux" où les articles sont publiés :

  • Le "Club Privé" (ACL) : C'est le lieu des experts en langage. Ici, les problèmes sont stables et classiques (comme le raisonnement). C'est un peu comme un vieux club de lecture où l'on discute des mêmes classiques.
  • Le "Grand Marché" (arXiv) : C'est un lieu plus vaste et plus rapide, où tout le monde publie. Ici, on voit apparaître de nouveaux problèmes plus vite, surtout liés à la sécurité, à la confiance et aux images (multimodalité). C'est comme un marché où de nouvelles marchandises arrivent chaque jour.

💡 5. Le Message Principal

Cette étude nous dit quelque chose de très important : La recherche sur l'IA est en train de mûrir.

Au début, tout le monde courait après la nouveauté et la puissance. Aujourd'hui, grâce à cette "enquête de masse", on voit que la communauté scientifique est en train de prendre le temps de nettoyer la maison. On ne se contente plus de construire des robots de plus en plus grands ; on commence à vérifier qu'ils ne vont pas casser les meubles, qu'ils ne vont pas mentir, et qu'ils sont sûrs pour tout le monde.

C'est une bonne nouvelle : cela signifie que nous passons de la phase "découverte excitante" à la phase "construction responsable".