Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026
Cet article résume les contributions et les résultats du 1er défi CASTLE asynchrone, qui s'est tenu lors du Joint Egocentric Vision Workshop en conjonction avec la CVPR 2026.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez essayer de vous souvenir de tout ce qui s'est passé pendant des vacances de quatre jours, pas seulement des moments forts, mais de chaque conversation, de chaque objet déplacé et de chaque petit changement dans la pièce, tout en regardant à travers les yeux de dix personnes différentes simultanément. C'est le genre de test de mémoire avec lequel les ordinateurs luttent, même lorsqu'ils sont nourris de milliers d'heures de vidéo. Dans le domaine de l'intelligence artificielle, les chercheurs tentent de construire des systèmes capables de regarder de longs enregistrements non scénarisés de la vie quotidienne et de répondre à des questions spécifiques à leur sujet, tout comme un humain le ferait après avoir lu un journal intime ou regardé un film. Le défi réside dans le volume colossal d'informations et la nécessité de relier des détails qui pourraient être séparés par des heures ou des jours. Si une machine peut apprendre à faire cela, elle pourrait éventuellement nous aider à fouiller des années de séquences personnelles pour trouver un moment précis ou comprendre des schémas complexes dans la façon dont les gens vivent.
Pour tester à quel point nous sommes proches de résoudre ce problème, un groupe de chercheurs a organisé une compétition appelée le défi CASTLE. Ils ont fourni aux équipes un ensemble de données massif contenant plus de 600 heures de vidéo ultra-haute définition, enregistrées à grande vitesse pour capturer chaque détail. Les séquences provenaient de caméras portées par dix participants qui vaquaient à leurs occupations normales, ainsi que de cinq caméras fixes observant depuis la pièce. Les données étaient riches, incluant l'audio, des moniteurs de fréquence cardiaque et même des images thermiques, créant un enregistrement numérique complet de quatre jours d'activité. La tâche imposée aux équipes de compétition était simple en théorie mais incroyablement difficile en pratique : elles devaient répondre à 185 questions à choix multiples sur ce qui s'est passé dans les vidéos. Ces questions exigeaient que l'ordinateur suive des personnes, compte des objets, se souvienne de l'endroit où des choses étaient cachées et comprenne le timing des événements, comme déterminer qui a mangé une part de gâteau en premier ou à quelle vitesse quelqu'un chargeait sa voiture le dernier jour.
Quatre équipes ont relevé le défi, apportant chacune une stratégie différente au problème. L'équipe gagnante, connue sous le nom de WDL, a traité la tâche comme un détective rassemblant des indices. Au lieu d'essayer de regarder les 600 heures de vidéo d'un coup, leur système a d'abord examiné la question pour trouver des mots-clés, tels que le nom d'une personne ou un jour spécifique. Il a ensuite utilisé ces indices pour extraer uniquement les parties les plus pertinentes de la vidéo et des transcriptions parlées, ignorant le reste. Ils ont entraîné leur modèle informatique pour qu'il se concentre strictement sur les preuves trouvées, en utilisant des variantes de prompts strictes, équilibrées et agressives pour chaque question afin d'assurer la cohérence via une auto-cohérence multi-échantillon. Cette approche leur a permis d'atteindre une précision de près de 58 pour cent, ce qui signifie qu'ils ont répondu correctement à environ 108 des 185 questions.
Une autre équipe, MARS, a adopté une approche plus interactive. Ils ont construit un système qui agissait comme un agent curieux, décidant étape par étape quel type d'information regarder ensuite. Si une question portait sur l'activité physique, le système pouvait choisir de vérifier spécifiquement les données de fréquence cardiaque pour ces requêtes. S'il s'agissait de savoir où quelqu'un regardait, il extrairait les données d'oculométrie. En choisissant dynamiquement la pièce de preuve à examiner plutôt qu'en essayant de tout traiter à la fois, ils ont amélioré leur score à 57 pour cent. Une troisième équipe, TAHAKOM, a organisé l'information en une carte structurée de relations, connectant les personnes, les lieux et les objets avec des horodatages. Cela leur a permis de poser au système des questions spécifiques sur les connexions entre les événements, atteignant une précision de 54,6 pour cent. La dernière équipe, CuriosAI, s'est concentrée sur l'empêchement de l'ordinateur à inventer des faits. Ils ont construit un processus strict où le système devait chercher des preuves, les vérifier par rapport à la vidéo brute, puis répondre, garantissant que chaque affirmation était ancrée dans ce qui avait été réellement vu ou entendu. Leur meilleure méthode a atteint une précision de 49,7 pour cent.
Les résultats de la compétition montrent que, bien que les ordinateurs deviennent meilleurs pour comprendre de longues vidéos, ils ont encore un long chemin à parcourir. Les meilleures équipes ont répondu correctement à plus de la moitié des questions, ce qui est une amélioration significative par rapport à une supposition aléatoire, mais elles ont encore manqué près de la moitié des réponses. Ce qui est peut-être plus révélateur, c'est que les équipes n'ont pas toutes réussi les mêmes questions. Lorsque l'on combine les bonnes réponses des quatre équipes, elles ont réussi à résoudre 176 des 185 questions, laissant seulement neuf questions auxquelles aucune équipe n'a pu répondre. Cela suggère qu'aucune méthode unique n'est encore parfaite, mais que différentes approches capturent différentes pièces du puzzle. Les chercheurs ont constaté que l'obstacle majeur reste la capacité à couvrir suffisamment de preuves sans se perdre dans le volume colossal de données. Bien que les systèmes puissent naviguer à travers des centaines d'heures de séquences, la tâche consistant à raisonner à travers des événements réels et non scénarisés sur de longues périodes reste un problème difficile. La compétition n'a pas résolu le problème, mais elle a clairement montré que la combinaison de ces différentes stratégies pourrait être la clé pour construire des machines qui comprennent véritablement nos vies quotidiennes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.