Imaginez un ordinateur essayant de comprendre le monde à travers une caméra fixée sur la tête d'une personne. Ce n'est pas la même chose que de regarder un film depuis un siège fixe dans un cinéma. Dans cette vue à la première personne, le monde défile à toute allure, les objets apparaissent et disparaissent en un clin d'œil, et l'indice le plus important peut être un détail minuscule et fugace juste au coin de l'objectif. Pour l'intelligence artificielle, c'est un casse-tête difficile. Les systèmes informatiques modernes, connus sous le nom de grands modèles vision-langage, sont incroyablement intelligents pour lire du texte et regarder des images, mais ils ont souvent du mal lorsque la vue est chaotique et personnelle. Ils ont tendance à deviner ce qui se passe en se basant sur ce qu'ils ont lu auparavant, plutôt qu'en regardant attentivement ce qui est réellement présent. Ils peuvent voir une cuisine et supposer que quelqu'un est en train de cuisiner, même si la vidéo montre la personne en train de simplement laver une tasse, parce que leur base de données interne leur dit que les cuisines servent à cuisiner. Cette dépendance à la mémoire plutôt qu'à l'observation mène à des erreurs dans des situations critiques, comme lorsqu'un robot doit aider un humain ou lorsqu'un appareil prêtable doit assister une personne handicapée.

Une équipe de chercheurs de Chine a développé une nouvelle façon d'enseigner à ces systèmes informatiques à arrêter de deviner et à commencer à regarder. Ils appellent leur méthode l'Apprentissage Guidé par l'Évidence Visuelle (Visual Evidence-Guided Learning). L'idée centrale est simple mais puissante : forcer l'ordinateur à pointer la partie spécifique de la vidéo qui prouve que sa réponse est correcte. Dans leurs expériences, ils ont découvert que lorsqu'ils entraînaient les modèles à trouver et à s'appuyer sur ces indices visuels petits mais décisifs, les ordinateurs devenaient bien meilleurs pour comprendre ce qui se passait dans la vidéo. Ils ont cessé d'inventer des histoires basées sur des connaissances générales pour commencer à décrire exactement ce qu'ils voyaient. Ce passage du devinement à la vision est une étape significative vers la création d'une intelligence artificielle fiable dans le monde réel et désordonné du mouvement humain.

Les chercheurs ont commencé par examiner pourquoi ces systèmes intelligents échouent si souvent dans les vidéos à la première personne. Ils ont remarqué deux problèmes principaux. Premièrement, lorsque les indices visuels étaient faibles ou difficiles à repérer, l'ordinateur revenait à son entraînement linguistique, utilisant le bon sens pour combler les lacunes. Par exemple, si une personne trempait un pinceau dans une petite tasse, l'ordinateur pourrait ignorer la tasse et dire que la personne est en train de peindre, simplement parce que c'est ce que les pinceaux font habituellement. Deuxièmement, l'ordinateur est souvent distrait par la vue d'ensemble. Si une vidéo montrait tout un atelier d'art, le système pourrait se concentrer sur l'atmosphère de la pièce plutôt que sur l'action spécifique d'une main tenant un outil. Les chercheurs ont réalisé que les méthodes d'entraînement actuelles ne punissaient pas l'ordinateur pour avoir ignoré les petits détails ou pour s'être trop appuyé sur ses propres connaissances internes. L'ordinateur n'était pas enseigné à valoriser l'évidence visuelle qu'il voyait.

Pour corriger cela, l'équipe a construit un pipeline d'entraînement qui agit comme un entraîneur strict. Ils n'ont pas demandé à des humains de l'étiquetage manuel de chaque vidéo, ce qui serait trop lent et coûteux. Au lieu de cela, ils ont créé un système automatique qui scanne la vidéo et sélectionne les indices visuels les plus probables. Le système examine les images de la vidéo et la question posée, puis identifie la zone spécifique de l'image qui semble la plus pertinente. Il choisit également une seconde zone qui est similaire mais moins claire, pour servir de test de la concentration de l'ordinateur. Cela crée une paire de signaux : un qui représente la vérité et un autre qui représente une distraction déroutante. L'ordinateur est ensuite entraîné à aligner son raisonnement avec le signal clair et à ignorer le signal déroutant.

Une partie cruciale de ce processus est une étape de filtrage qui intervient avant même que l'ordinateur ne commence son entraînement final. Les chercheurs ont réalisé que toutes les vidéos ne sont pas bonnes pour l'enseignement. Certaines vidéos sont trop floues, ou l'action importante est trop petite pour être vue clairement par le système automatique. Si l'ordinateur essaie d'apprendre à partir de ces mauvais exemples, il apprendra simplement à être confus. Ainsi, l'équipe a construit un mécanisme pour vérifier la qualité des indices visuels. Si l'ordinateur ne peut pas trouver un objet clair et décisif dans la vidéo, cet exemple est rejeté. Ils vérifient également si l'exemple est réellement utile pour l'apprentissage. Si l'ordinateur peut déjà répondre à la question facilement, ou si la vidéo est trop complexe pour fournir une leçon claire, cet exemple est également écarté. Cela laisse un ensemble plus restreint et de haute qualité de vidéos où les indices visuels sont nets et la leçon est claire.

Une fois que l'ordinateur est entraîné sur ces données filtrées et de haute qualité, il subit une phase finale d'apprentissage par renforcement. C'est ici que l'ordinateur apprend à faire de meilleurs choix en recevant des récompenses pour les bons comportements. Dans ce nouveau système, la récompense ne consiste pas seulement à obtenir la bonne réponse, mais à obtenir la bonne réponse en regardant la bonne chose. Si l'ordinateur identifie correctement l'objet ou l'action spécifique qui prouve la réponse, il reçoit une récompense. S'il essaie de deviner en se basant sur la scène générale ou s'il énumère trop d'objets non liés pour couvrir ses arrières, il est pénalisé. Le système décourage également activement l'ordinateur de se concentrer sur la zone « déroutante » qu'ils ont créée précédemment. Cela force l'ordinateur à rétrécir son attention sur la seule chose qui compte vraiment, plutôt que d'étendre sa concentration sur l'ensemble de la scène.

Les résultats de cette approche ont été frappants. Les chercheurs ont testé leur méthode sur plusieurs benchmarks différents conçus pour mesurer la capacité des ordinateurs à comprendre les vidéos à la première personne. Ils ont comparé leur nouveau système à d'autres méthodes avancées qui avaient été développées récemment. Dans chaque test, leur système a obtenu de meilleurs résultats. Il était plus précis pour répondre aux questions sur ce qui se passait dans la vidéo, que la tâche soit d'identifier un objet, de planifier une séquence d'actions ou de comprendre une scène complexe. L'amélioration était constante à travers différents types de modèles informatiques, suggérant que la méthode fonctionne bien quel que soit l'architecture cérébrale utilisée. Les chercheurs ont constaté que le système était particulièrement efficace pour gérer les situations où le détail important était petit ou se déplaçait rapidement, ce qui est précisément là où les autres systèmes échouent habituellement.

L'équipe a également pris le temps de vérifier que leur système automatique choisissait les bons indices. Ils ont vérifié manuellement un échantillon des vidéos pour voir si la zone visuelle choisie par l'ordinateur correspondait à ce qu'un humain considérerait comme la partie la plus importante. Ils ont constaté que, dans la grande majorité des cas, le choix de l'ordinateur était correct. Cela leur a donné la confiance nécessaire pour affirmer que le processus automatique était suffisamment fiable pour être utilisé comme enseignant. Ils ont également testé la sensibilité du système à différents réglages, comme la rigueur du filtrage. Ils ont trouvé qu'il existait un point d'équilibre : si le filtrage était trop lâche, l'ordinateur apprenait de mauvais exemples ; s'il était trop strict, l'ordinateur n'avait pas assez de données pour apprendre. En trouvant le bon équilibre, ils ont assuré l'efficacité et l'efficience du système.

Une des découvertes les plus intéressantes fut la façon dont le système a changé la manière dont l'ordinateur « réfléchit ». Lorsque les chercheurs ont examiné le processus de raisonnement des anciens modèles, ils ont vu que l'ordinateur sautait souvent aux conclusions en se basant sur le cadre général. En revanche, le nouveau système montrait un schéma clair de recherche de l'évidence spécifique avant de prendre une décision. Par exemple, face à la question concernant une personne tenant un outil, l'ancien modèle pourrait dire « la personne travaille dans un atelier » en se basant sur l'arrière-plan. Le nouveau modèle dirait « la personne tient un tournevis », car il a été entraîné à se concentrer sur la main et l'outil. Ce passage du contexte global à l'évidence locale est ce qui rend le système plus digne de confiance. Il ne se contente plus de deviner ce qui arrive habituellement ; il rapporte ce qui est réellement en train de se passer.

Les chercheurs reconnaissent que leur méthode n'est pas parfaite. Elle fonctionne mieux lorsque l'indice important est un objet ou une action localisée qui peut être clairement vue dans une petite partie de la vidéo. Si la réponse dépend d'une longue séquence d'événements répartis dans le temps, ou si l'objet important est caché derrière autre chose, le système peut encore éprouver des difficultés. Ils ont également noté que si la question est trop abstraite, le système automatique peut avoir du mal à trouver un indice visuel correspondant. Cependant, pour la vaste majorité des tâches où un détail visuel spécifique est la clé de la réponse, leur approche offre une solution robuste.

Ce travail représente une étape significative vers une intelligence artificielle plus ancrée dans la réalité. En apprenant aux ordinateurs à valoriser ce qu'ils voient plutôt que ce qu'ils pensent savoir, les chercheurs ont créé un système moins susceptible de commettre des erreurs dangereuses ou absurdes. Dans un monde où les robots et les appareils intelligents deviennent de plus en plus courants, disposer d'un système capable de comprendre de manière fiable une vue à la première personne et de comprendre exactement ce qui se passe est essentiel. La méthode ne nécessite pas d'enseignants humains coûteux ni de quantités massives de nouvelles données. Au lieu de cela, elle utilise un processus de filtrage ingénieux et une nouvelle façon de récompenser l'ordinateur pour le guider vers la vérité. À mesure que la technologie évolue, cette focalisation sur l'évidence visuelle pourrait devenir la norme pour enseigner aux machines à voir le monde, garantissant qu'elles voient ce qui importe.