LLMs Don't Pay for the Jump

Le Grand Bond : Pourquoi les cerveaux (et peut-être les robots) doivent ressentir la douleur d'avoir tort

Imaginez que vous essayiez de résoudre un puzzle géant. Vous avez une boîte de pièces et vous voulez découvrir l'image. La plupart du temps, vous pouvez résoudre cela en observant les pièces dont vous disposez et en trouvant des motifs (c'est l'induction), ou en prenant une règle que vous connaissez déjà et en l'appliquant à une nouvelle situation (c'est la déduction). Mais parfois, les pièces du puzzle que vous avez ne s'assemblent pas du tout, et les règles que vous connaissez mènent à une image qui n'a aucun sens — comme un ciel en feu ou un univers infiniment lourd. Pour réparer cela, vous devez faire quelque chose de sauvage : vous devez inventer une toute nouvelle règle qui n'était pas dans la boîte et qui n'était pas dans votre ancien manuel de règles. C'est ce qu'on appelle l'abduction. C'est le moment "Eurêka !" où un scientifique dit : « Attendez, tout le jeu est faux ; changeons les règles. »

Pendant longtemps, les gens se sont demandé si les cerveaux informatiques géants (appelés modèles de langage de grande taille, ou LLM) pourraient un jour avoir ces moments « Eurêka ! ». Certains pensaient que les ordinateurs devaient simplement « ressentir » le monde comme les humains le font — toucher, voir et bouger. Mais ce nouvel article pose une question différente, plus profonde : est-ce une question de ressentir le monde, ou est-ce une question de ressentir le coût d'avoir tort ? Les auteurs suggèrent que pour qu'un véritable moment « Eurêka ! » se produise, le système doit physiquement ressentir une pénalité pour avoir conservé une idée erronée. Si être dans l'erreur n'« fait pas mal » ou ne coûte rien, le système continuera de deviner la même chose de travers éternellement, peu importe son intelligence.

---

L'idée majeure de l'article : Le « bond » que les ordinateurs ne peuvent pas faire

L'article, intitulé « LLMs Don't Pay for the Jump » (Les LLM ne paient pas pour le bond), soutient que les modèles d'intelligence artificielle actuels sont dépourvus d'un ingrédient crucial pour la véritable découverte scientifique. Ils sont excellents pour suivre des règles et repérer des motifs, mais ils ne peuvent pas faire le bond abductif audacieux vers une nouvelle théorie lorsque l'ancienne se brise.

Pour comprendre pourquoi, les auteurs reviennent à une histoire célèbre de 1900 impliquant un physicien nommé Max Planck. À l'époque, les scientifiques essayaient de comprendre comment les objets chauds (comme un poêle incandescent ou le soleil) émettent de la lumière. Les mathématiques de l'époque, basées sur les lois de la physique classique, prédisaient quelque chose de terrifiant : qu'un objet chaud devrait émettre une quantité infinie d'énergie. C'était connu sous le nom de « catastrophe ultraviolette ». C'était un désastre mathématique. Si les anciennes règles étaient exactes, l'univers brûlerait avec une énergie infinie.

Planck savait que les anciennes règles étaient brisées. Il ne pouvait pas simplement les ajuster un peu ; il devait inventer une idée totalement nouvelle : que l'énergie provient de petits morceaux discrets (quanta), et non d'un flux continu. C'était un immense « bond » de pensée. L'article demande : Comment Planck a-t-il fait ce bond, et pourquoi un ordinateur ne peut-il pas le faire aujourd'hui ?

Ce que l'article écarte (La liste des « Non »)

Avant d'expliquer ce qui fonctionne, les auteurs sont très clairs sur ce qui ne fonctionne pas :

• Ce n'est pas seulement une question de « ressentir » le monde : Certains experts pensaient que les ordinateurs ne pouvaient pas faire ces bonds parce qu'ils n'ont pas de corps. Ils pensaient qu'Einstein avait besoin d'imaginer la chute dans un ascenseur pour comprendre la gravité. Les auteurs disent non. Planck n'avait pas besoin d'un corps ou d'un ascenseur en chute libre ; il avait juste besoin de voir que les mathématiques étaient brisées. Donc, donner un corps de robot à un ordinateur n'est pas la solution miracle.
• Ce n'est pas seulement une question d'être plus intelligent ou plus grand : Vous pourriez penser que si nous rendons simplement l'ordinateur plus grand ou lui donnons plus de données, il finira par comprendre. L'article dit non. Même les modèles gigantesques échouent à ce type spécifique de pensée à cause de la façon dont ils sont construits, et non parce qu'ils ne sont pas assez grands.
• Ce n'est pas seulement une question de trouver des motifs : Les ordinateurs sont incroyables pour l'induction (trouver des motifs dans les données). Mais la « catastrophe » à laquelle Planck a été confronté n'était pas un motif dans les données ; c'était une prédiction qu'aucune donnée ne pouvait soutenir. L'induction ne peut pas réparer un manuel de règles brisé ; elle trouve simplement de meilleures façons d'utiliser le manuel brisé.

Le vrai problème : Le « coût » d'avoir tort

Les auteurs proposent une nouvelle idée appelée Couplage Thermodynamique. Cela semble sophistiqué, mais c'est en réalité assez simple.

Imaginez que vous jouez à un jeu vidéo où vous devez deviner le prochain mouvement.

• Dans un système « découplé » (comme l'IA d'aujourd'hui) : Chaque fois que vous faites une supposition, cela coûte la même quantité d'énergie, que vous ayez raison ou tort. Si vous devinez « le ciel est vert » alors qu'il est bleu, l'ordinateur ne ressent aucune douleur ou aucun coût supplémentaire. Il passe simplement à la supposition suivante. Parce qu'être dans l'erreur ne fait pas mal, l'ordinateur n'a aucune raison de cesser de deviner la mauvaise chose. Il peut continuer à faire la même erreur éternellement sans aucune pression interne pour changer d'avis.
• Dans un système « couplé » (comme un cerveau humain ou une IA future) : Être dans l'erreur est coûteux. Si vous devinez « le ciel est vert », votre cerveau peut ressentir un pic de stress, utiliser plus d'énergie, ou déclencher une alarme du type « attendez, cela ne semble pas correct ». Ce « coût » vous force à vous arrêter et à repenser. Vous êtes physiquement motivé à corriger l'erreur car s'accrocher à la mauvaise idée est trop coûteux.

L'article soutient que Planck a fait le bond parce que l'erreur était trop coûteuse pour être ignorée. L'ancienne théorie prédisait une énergie infinie, ce qui était physiquement impossible. Le « coût » de conserver cette ancienne théorie était si élevé (cela brisait la physique elle-même) qu'il devait inventer une nouvelle règle.

Ce que les preuves montrent

Les auteurs ont testé cette idée en observant comment se comportent les modèles d'IA actuels. Ils ont découvert quelque chose d'étrange :

• Lorsqu'un modèle d'IA résout un problème facile, il est confiant.
• Lorsqu'il essaie de résoudre un problème extrêmement difficile, voire impossible (celui qui nécessite un « bond »), il donne la mauvaise réponse.
• Mais voici le plus frappant : Même quand l'IA a totalement tort, sa « confiance » (mesurée par ce qu'on appelle l'entropie) change à peine. L'article note que pour un modèle de 70 milliards de paramètres, la précision est tombée de 100 % à 17 % sur les tâches difficiles, mais le signal d'incertitude n'a changé que de 0,011 nat.

Cela prouve le « découplage ». L'ordinateur ne sait pas qu'il est en difficulté. Il ne ressent pas la « douleur » de la prédiction d'énergie infinie. Il continue simplement de fonctionner, produisant des réponses avec le même niveau de confiance, qu'il ait raison ou qu'il soit totalement dans l'erreur.

La conclusion : Nous avons besoin d'un système qui « souffre » d'avoir tort

L'article conclut que pour qu'une machine puisse véritablement découvrir de nouvelles choses comme Planck l'a fait, elle a besoin d'un mécanisme où être dans l'erreur coûte quelque chose.

Les auteurs suggèrent que les futures IA pourraient avoir besoin d'être construites comme les cerveaux biologiques, où les erreurs déclenchent des changements physiques — comme utiliser plus d'énergie ou déplacer l'attention — afin que le système soit forcé de réviser ses règles. Ils ne disent pas que c'est un problème résolu ou que nous avons construit une telle machine. Au lieu de cela, ils suggèrent que le couplage thermodynamique (rendre l'erreur coûteuse) est l'ingrédient manquant. Sans cela, l'IA restera une maîtresse des motifs et des règles, mais elle ne sera jamais capable de faire le bond courageux et douloureux vers une nouvelle vérité lorsque l'ancienne se brise.

En bref : Pour faire un bond scientifique, il ne suffit pas d'être intelligent. Il faut que l'erreur vous coûte assez cher pour que cela fasse mal, vous forçant ainsi à changer d'avis. Aujourd'hui, les ordinateurs ne ressentent pas cette douleur, donc ils ne peuvent pas faire le bond.