Imaginez que vous apprenez à un enfant à reconnaître un chien. Vous lui montrez des photos d'un Golden Retriever en train de courir, de dormir et de sauter. Ensuite, vous lui montrez la photo d'un caniche. Même si le caniche a une apparence différente, l'enfant sait instantanément : « C'est un chien ! » Il a appris l'idée du chien, et pas seulement son apparence spécifique. Cette capacité à reconnaître des choses dans de nouvelles situations, surtout lorsqu'elles sont tournées sur le côté ou à l'envers, est le saint Graal des cerveaux humains et de l'intelligence artificielle. Pendant longtemps, les scientifiques se sont interrogés sur la raison pour laquelle nos cerveaux informatiques — appelés réseaux de neurones profonds (DNN) — sont si doués pour repérer des objets sur des photos, mais perdent souvent complètement la tête lorsque ces mêmes objets sont pivotés d'une manière qu'ils n'ont pas vue auparavant. C'est comme un robot qui peut identifier une tasse sur une table, mais qui pense qu'une tasse posée sur le côté est un objet complètement différent. Comprendre comment ces cerveaux numériques apprennent à gérer de nouveaux angles est crucial car le monde réel est rempliment d'objets qui tournent, basculent et changent de perspective chaque seconde.

Ce document plonge dans ce mystère, en posant une question simple mais profonde : ces cerveaux informatiques peuvent-ils apprendre à reconnaître des objets dans des orientations « nouvelles » en voyant seulement quelques exemples, ou doivent-ils mémoriser chaque angle ? Les chercheurs ont mis en place une expérience ingénieuse où ils ont entraîné des modèles d'IA sur un mélange d'objets « pleinement vus » (présentés sous toutes les rotations possibles) et d'objets « partiellement vus » (présentés sous seulement quelques angles spécifiques). Ils ont ensuite testé l'IA sur ces objets partiellement vus lorsqu'ils étaient tournés vers de nouveaux angles « hors distribution » (out-of-distribution). Les résultats sont fascinants : l'IA peut généraliser à de nouveaux angles, mais seulement de manières très spécifiques et prévisibles. Il s'avère que si vous montrez à l'IA suffisamment d'exemples différents d'objets « pleinement vus », elle commence à construire une sorte de carte interne. Cette carte lui permet de reconnaître un objet partiellement vu même lorsqu'il est pivoté, mais seulement si cette rotation est une rotation 2D simple (comme tourner une page) ou un basculement qui maintient l'apparence familière de l'ombre ou de la silhouette de l'objet. Le document suggère que cela se produit parce que les « neurones » internes de l'IA (les petites unités de traitement à l'intérieur du réseau) apprennent à repérer des caractéristiques spécifiques — comme une aile ou une roue — qui restent les mêmes même lorsque l'objet bouge. Ces détecteurs de caractéristiques, entraînés sur les objets pleinement vus, semblent « diffuser » leur savoir aux objets partiellement vus, agissant comme un pont qui permet à l'IA de reconnaître l'inconnu. Cependant, les auteurs précisent avec prudence que ce n'est pas de la magie ; l'IA éprouve toujours des difficultés avec les torsions 3D complexes qui cachent des parties de l'objet (auto-occlusion), et ces découvertes sont basées sur des simulations avec des ensembles de données spécifiques, et non sur une loi universelle de toute intelligence.

L'histoire de l'avion en rotation

Considérez un réseau de neurones profonds comme un étudiant très enthousiaste, mais légèrement rigide, essayant d'apprendre l'alphabet. Si vous ne lui montrez que la lettre « A » écrite en rouge, il pourrait échouer à reconnaître un « A » bleu ou un « A » écrit en cursive. Dans le monde de la vision par ordinateur, cet étudiant est un réseau de neurones profonds (DNN), et les « lettres » sont des objets comme des avions, des voitures ou des formes géométriques étranges. Le gros problème est que ces réseaux sont généralement très mauvais pour reconnaître des objets lorsqu'ils sont tournés de manières qu'ils n'ont pas vues pendant l'entraînement. Si vous entraînez un réseau sur une image d'un avion volant droit, puis que vous lui montrez un avion faisant un tonneau, le réseau panique souvent et dit : « Je ne sais pas ce que c'est ! »

Les chercheurs de ce document voulaient comprendre pourquoi cela se produit et s'il existe un carnet de règles caché que le réseau suit. Ils n'ont pas simplement jeté des images aléatoires à l'IA ; ils ont mis en place un camp d'entraînement très spécifique. Imaginez qu'ils aient 50 avions jouets différents. Pour certains de ces avions, ils ont montré à l'IA chaque angle imaginable — devant, derrière, à l'envers, sur le côté, et tout ce qu'il y a entre les deux. Ils ont appelé ceux-là les avions « pleinement vus ». Pour les autres avions, ils n'ont montré à l'IA qu'une infime tranche d'angles, comme montrer seulement le nez pointant vers le bas. C'étaient les avions « partiellement vus ».

Puis vint le test. Les chercheurs ont pris les avions « partiellement vus » et les ont fait pivoter dans de nouveaux angles complètement nouveaux, « hors distribution » (OoD), que l'IA n'avait jamais vus auparavant. L'IA échouerait-elle ? Ou réussirait-elle d'une manière ou d'une autre à comprendre ?

La magie de la « rotation 2D »

La réponse est un mélange de « oui » et de « non », mais avec un rebondissement très intéressant. L'IA est effectivement devenue meilleure pour reconnaître les avions partiellement vus, mais seulement si le nouvel angle était un type spécifique de rotation.

Les chercheurs ont découvert que l'IA excellait à reconnaître des objets lorsqu'ils étaient pivotés d'une manière qui ressemblait à une rotation 2D (comme faire tourner une photo sur une table) ou à un basculement qui maintenait une silhouette similaire. Par exemple, si l'IA voit un avion de face, elle peut souvent le reconnaître par l'arrière, car l'« ombre » de l'avion de face et de l'arrière est très similaire. C'est comme reconnaître le visage d'une personne même si elle regarde ailleurs, car vous savez que la forme de sa tête n'a pas changé.

Cependant, si l'avion était tordu d'une manière 3D complexe qui cachait certaines de ses parties (comme un avion qui roule de telle sorte que son aile bloque la vue du corps), l'IA était confuse. Le document suggère que l'IA éprouve des difficultés avec ces angles d'« auto-occlusion » car elle ne peut plus voir les caractéristiques familières auxquelles elle a appris à faire confiance.

La théorie du « détective de caractéristiques »

Alors, comment l'IA fait-elle cela ? Les auteurs proposent une théorie qui ressemble beaucoup à la façon dont nos propres cerveaux pourraient fonctionner. Ils ont regardé à l'intérieur du « cerveau » de l'IA (le réseau de neurones) et ont observé comment ses neurones individuels s'activent. Ils ont découvert que certains neurones agissent comme des détectives de caractéristiques.

Imaginez un neurone qui est un détective pour les « ailes ». Lorsqu' l'IA voit un avion « pleinement vu », ce détective apprend que les « ailes » sont une partie clé d'un avion, peu importe la façon dont l'avion tourne. Le détective devient très doué pour repérer les ailes sous tous ces angles différents. Maintenant, quand l'IA voit un nouvel avion (un avion partiellement vu) qu'elle n'a vu que sous quelques angles, ce même « détective des ailes » est toujours là. Même si l'IA n'a pas vu ce nouvel avion spécifique sous tous les angles, le détective reconnaît les ailes et dit : « Hé, je connais cette caractéristique ! Cela doit être un avion ! »

Le document suggère que l'« invariance » (la capacité de reconnaître quelque chose malgré les changements) apprise par les avions pleinement vus est diffusée, ou propagée, aux avions partiellement vus. C'est comme si les avions pleinement vus étaient les professeurs, et qu'ils transmettaient leur savoir sur « ce qui fait qu'un avion est un avion » aux étudiants partiellement vus. Plus l'IA s'entraîne sur des avions pleinement vus, plus cet enseignement devient fort, et plus elle devient performante pour reconnaître les nouveaux angles difficiles.

Les règles du jeu

Les chercheurs n'ont pas seulement deviné ; ils ont construit un modèle mathématique pour prédire exactement quels angles l'IA réussirait et quels angles elle raterait. Leur modèle comportait trois ingrédients principaux :

1. Petites rotations d'angle : Si le nouvel angle est juste un tout petit peu différent de ce que l'IA a vu, c'est généralement facile.
2. Rotations dans le plan : Si l'objet tourne simplement à plat (comme une rotation 2D), l'IA est efficace.
3. Similarité de la silhouette : Si l'ombre de l'objet ressemble à celle de l'angle précédent, l'IA peut gérer la situation.

Lorsqu'ils ont testé leur modèle par rapport aux résultats réels de l'IA, la correspondance était parfaite. Le modèle pouvait prédire le taux de réussite de l'IA avec une grande précision. Cela confirme que l'IA ne fait pas que deviner ; elle suit un ensemble logique de règles basées sur la façon dont elle voit le monde.

Ce que cela signifie pour l'avenir

Le document conclut que, bien que ces cerveaux informatiques ne soient pas encore parfaits, ils font quelque chose de remarquablement similaire aux cerveaux biologiques. Ils utilisent des caractéristiques spécifiques pour construire une notion de « ce qu'est cet objet » qui survit à la rotation. Cependant, ils restent limités. Ils ne peuvent pas gérer les torsions 3D complexes qui cachent des parties de l'objet aussi bien que les humains. Les auteurs suggèrent que, peut-être, à l'avenir, nous pourrions apprendre à ces réseaux à apprendre à partir de la vidéo (association temporelle) plutôt que de simples images statiques, tout comme les bébés apprennent en regardant les choses bouger autour d'eux.

Pour l'instant, cette étude nous donne une carte claire de là où ces systèmes d'IA réussissent et de là où ils échouent. Elle montre que si nous voulons des IA plus intelligentes capables de naviguer dans notre monde 3D, nous devons les aider à comprendre non seulement l'apparence des objets, mais aussi comment leurs ombres et leurs caractéristiques changent lorsqu'ils tournent. C'est un petit pas, mais c'est un pas vers la création de machines qui pourront véritablement voir le monde comme nous le faisons.