Imaginez un monde où les robots ne sont pas seulement des machines lourdes suivant une liste stricte d'instructions, mais des assistants ingénieux capables de comprendre ce que vous dites et de voir ce que vous faites. C'est le rêve des modèles « Vision-Langage-Action » (VLA). Considérez-les comme le cerveau d'un robot qui combine les yeux d'une caméra, les oreilles d'un modèle de langage et les mains d'un bras mécanique. Si vous dites au robot : « Ramasse la balle rouge », un modèle VLA est censé regarder autour de lui, comprendre que « rouge » est une couleur spécifique, trouver cette balle et la saisir. Cette technologie est la clé pour construire des robots capables de faire les tâches ménagères, de conduire des voitures ou de travailler dans des usines sans qu'un humain ait besoin de programmer chaque mouvement. Mais, comme toute nouvelle technologie, ces robots intelligents connaissent des problèmes de croissance. Ils sont incroyablement performants dans des laboratoires parfaits et contrôlés, mais le monde réel est désordonné. La lumière du soleil change, les ombres bougent et les lumières scintillent. La grande question que se posent les scientifiques est la suivante : si l'éclairage change ne serait-ce qu'un tout petit peu, notre robot super intelligent va-t-il soudainement oublier comment voir ou, pire encore, percuter quelque chose ?

Cet article, intitulé « Lights, Camera, Malfunction » (Lumière, Caméra, Dysfonctionnement), plonge directement dans cette réalité désordonnée. Les chercheurs, Marino Watanabe, Takami Sato et Kentaro Yoshioka de l'Université Keio, ont découvert que ces cerveaux robotiques avancés sont étonnamment fragiles. Ils ont découvert qu'en projetant simplement un type spécifique de projecteur sur l'espace de travail d'un robot, ils pouvaient faire échouer complètement le travail du robot, faisant tomber son taux de réussite à zéro. C'est comme projeter une lampe de poche de couleur étrange sur un feu de signalisation et faire croire au robot qu'un feu rouge est en fait vert.

Mais voici le rebondissement qui rend l'histoire encore plus intéressante. Habituellement, lorsque les scientifiques essaient de réparer un robot sensible à la lumière, ils utilisent une astuce appelée « augmentation de données ». Imaginez enseigner à un enfant à reconnaître une balle rouge en lui montrant des photos de la balle sous un soleil éclatant, sous des lampes tamisées, et même en passant les photos en noir et blanc. L'idée est que l'enfant apprendra la forme de la balle, et pas seulement la couleur, afin qu'il puisse la trouver n'importe où. Les chercheurs ont essayé cette correction standard, mais ils ont découvert un piège dangereux. En apprenant au robot à ignorer les changements de couleur, ils lui ont accidentellement appris à ignorer la couleur entièrement. Le robot est devenu « daltonien ». Il pouvait toujours trouver une balle si la tâche ne dépendait pas de la couleur, mais si vous lui demandiez de « ramasser la balle rouge » alors qu'il y avait aussi une balle bleue, il ramasserait la mauvaise parce qu'il avait oublié que le rouge et le bleu sont différents.

Pour résoudre cela, l'équipe a créé une nouvelle méthode appelée ChromaGuard. Au lieu d'apprendre au robot à ignorer la couleur, ChromaGuard lui apprend à gérer un éclairage difficile tout en se souvenant de ce que sont les couleurs. Ils ont testé cela sur un véritable bras robotique à 6 degrés de liberté (une façon sophistiquée de dire un robot avec six articulations mobiles, comme un bras humain). Les résultats sont impressionnants : alors que l'ancienne correction « daltonienne » échouait pour les tâches spécifiques à la couleur, ChromaGuard a permis au robot de rester protégé contre les attaques de projecteurs et lui a permis de ramasser correctement la balle rouge 92,5 % du temps, même quand la lumière essayait de le tromper.

L'attaque par projecteur : FLARE

Les chercheurs ont commencé par construire un cadre qu'ils appellent FLARE (Framework for Lighting Adversarial Robustness Evaluation - Cadre d'évaluation de la robustesse face aux éclairages adverses). Considérez FLARE comme un « simulateur de méchant ». Dans une simulation informatique, ils ont mis en place un robot essayant d'accomplir diverses tâches, comme empiler des blocs ou ramasser des objets. Ensuite, ils ont joué le rôle d'un hacker malicieux capable de contrôler un projecteur physique. Ils n'ont pas piraté le code du robot ; ils ont simplement modifié l'éclairage.

Ils ont utilisé une méthode de recherche intelligente (appelée optimisation bayésienne) pour trouver la combinaison parfaite de réglages de lumière pour briser le robot. Ils ont ajusté la hauteur de la lumière, sa luminosité et sa couleur (teinte, saturation et valeur). Le but était de faire osciller le bras du robot de manière désordonnée ou de le faire échouer à saisir l'objet.

Les résultats ont été choquants. Dans la simulation, les modèles de robots standards, qui réussissent habituellement environ 80 % à 90 % du temps, sont tombés à 0,0 % de réussite lorsqu'ils étaient frappés par le projecteur optimisé. Le robot n'a pas seulement échoué ; il est devenu incontrôlable. Les chercheurs ont mesuré à quelle distance le bras du robot s'était écarté de sa trajectoire prévue. Dans certains cas, le bras a oscillé jusqu'à 115,5 cm de sa trajectoire prévue. C'est comme si un bras de robot destiné à ramasser une tasse se mettait soudainement à s'agiter frénétiquement sur toute la table de la cuisine. Même une lumière aléatoire, non optimisée, pouvait réduire le taux de réussite de moitié. Cela a prouvé que les robots n'étaient pas seulement « un peu confus » ; ils étaient fondamentalement défaillants à cause de simples changements d'éclairage.

Le piège : Augmentation naïve

Ensuite, les chercheurs ont tenté de résoudre le problème en utilisant la méthode standard : l'Augmentation Naïve. C'est le truc du « passer les images en noir et blanc » mentionné plus haut. Ils ont entraîné les robots sur des images où la couleur, la luminosité et la netteté étaient aléatoirement brouillées. Ils espéraient que cela apprendrait aux robots à être résistants à tout changement d'éclairage.

Dans la simulation, cela semblait fonctionner parfaitement. Les modèles « Naive-Aug » maintenaient des taux de réussite élevés (environ 78 % à 93 %) même lorsque l'attaque par projecteur était activée. Cela ressemblait à une victoire. Mais les chercheurs soupçonnaient que quelque chose n'allait pas. Ils ont réalisé qu'en brouillant tellement les couleurs pendant l'entraînement, les robots avaient pu apprendre un raccourci : « Les couleurs sont confuses et changent tout le temps, alors je vais simplement les ignorer et regarder la forme à la place ».

Pour tester cela, ils ont lancé un « examen de diagnostic ». Ils ont pris les robots entraînés et leur ont montré les tâches en niveaux de gris (noir et blanc).

• Les robots originaux (Baseline) ont échoué lamentablement en niveaux de gris car ils dépendaient de la couleur.
• Les robots « Naive-Aug », cependant, ont réussi aussi bien en niveaux de gris qu'en couleur. Par exemple, sur une tâche, ils ont réussi 90,5 % du temps en niveaux de gris, presque autant que leurs 89,8 % de réussite en couleur.

C'était la preuve irréfutable. Les robots n'avaient pas appris à être robustes ; ils avaient appris à être daltoniens. Ils avaient rejeté la couleur comme étant du « bruit ». C'est un problème majeur car de nombreuses tâches réelles dépendent de la couleur. Si un robot doit ramasser une pomme rouge dans un tas de pommes vertes, être daltonien est un désastre.

Le test en conditions réelles : Tâches dépendantes de la couleur

Pour prouver qu'il ne s'agissait pas seulement d'un bug de simulation informatique, l'équipe est passée au monde réel. Ils ont installé un bras robotique physique avec deux caméras (une sur son poignet, une observant de côté) et un projecteur programmable. Ils ont donné au robot deux types de tâches :

1. Tâches invariantes à la couleur : « Ramasse la balle et mets-la dans la boîte. » (Peu importe que la balle soit rouge ou bleue).
2. Tâches dépendantes de la couleur : « Ramasse la balle rouge » (lorsqu'il y a aussi une balle bleue à proximité).

Les résultats ont confirmé leurs craintes. Lorsque le projecteur attaquait le robot « Naive-Aug » pendant la tâche dépendante de la couleur, le robot peinait. Même dans un éclairage normal et sûr, le robot Naive-Aug n'a réussi que 47,5 % du temps la tâche « ramasser la balle rouge ». Il ramassait la mauvaise balle parce qu'il avait oublié que le rouge et le bleu sont différents. Les chercheurs ont noté que dans ces échecs, le robot ramassait le mauvais objet coloré 85,7 % du temps.

La solution : ChromaGuard

Enfin, les chercheurs ont introduit leur héros : ChromaGuard. C'est une façon plus intelligente d'entraîner le robot. Au lieu de brouiller les couleurs de manière aléatoire, ChromaGuard modifie la luminosité, le contraste et la netteté de la lumière, mais il garde la teinte (la couleur réelle) exactement la même. Il enseigne au robot : « La lumière peut devenir plus brillante ou plus faible, ou les ombres peuvent bouger, mais une balle rouge est toujours rouge ».

Lorsqu'ils ont testé ChromaGuard sur le vrai robot :

• Contre l'attaque : Il est resté robuste. Dans la tâche invariante à la couleur, il a maintenu un taux de réussite de 70,0 % sous attaque, tout comme le modèle Naive-Aug.
• La vraie victoire : Dans la tâche dépendante de la couleur, ChromaGuard a brillé. Sous un éclairage normal (bénin), il a réussi 97,5 % du temps. Même lorsque l'attaque par projecteur était activée, il réussissait encore 92,5 % du temps.

Crucialement, les échecs qui ont eu lieu n'étaient pas dus au fait que le robot ramassait la mauvaise couleur. L'article note que pour le modèle SmolVLA utilisant ChromaGuard, 0 % des échecs étaient causés par le fait de ramasser le mauvais objet coloré. Il avait appris à ignorer la lumière trompeuse sans oublier la couleur importante.

Pourquoi cela importe

L'article conclut par un avertissement sérieux pour l'avenir de la robotique. Les chercheurs soutiennent que nous ne pouvons pas simplement jeter de l'« augmentation de données aléatoire » sur ces problèmes en espérant que tout se passe bien. Si nous apprenons aux robots à ignorer la couleur pour les rendre plus sûrs face aux changements d'éclairage, nous pourrions accidentellement briser leur capacité à accomplir les tâches qui nécessitent justement la couleur.

L'étude montre que les robots de pointe actuels sont étonnamment fragiles. Un simple projecteur peut les faire planter ou échouer complètement. Et la solution habituelle peut les rendre « aveugles » aux signaux les plus basiques du monde. Les auteurs suggèrent qu'avant de pouvoir faire confiance aux robots pour des tâches critiques en matière de sécurité, nous devons nous assurer qu'ils possèdent un niveau de généralisation qui ne sacrifie pas leur capacité à voir le monde tel qu'il est. ChromaGuard est un pas dans la bonne direction, prouvant que nous pouvons rendre les robots résistants à un mauvais éclairage sans qu'ils oublient à quoi ressemble une balle rouge.