💻 computer science

TLG: Temporal-Logic Grounding for Video Question Answering via Source-Annotation Reconstruction and Category-Targeted Reasoning

Le document introduit TLG, un système à trois niveaux qui améliore considérablement le questionnement vidéo sur le TimeLogic Challenge en reconstruisant les chronologies d'actions à partir d'annotations sources et en exécutant des programmes de logique temporelle, démontrant que l'exploitation d'annotations réelles plutôt que l'augmentation de la taille du modèle est la clé pour surmonter les limites de l'ancrage temporel.

Auteurs originaux : Ali Alavi

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Alavi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère où les indices sont cachés dans une vidéo. La question n'est pas seulement « Que s'est-il passé ? », mais plutôt « Est-ce que la personne a mis le lait dans le frigo avant ou après avoir coupé le pain ? » ou « Est-ce qu'elle a toujours remué la marmite pendant que l'eau bouillait ? »

C'est le défi de TimeLogic : un test qui demande aux ordinateurs de comprendre l'ordre précis et le moment des événements dans une vidéo, et pas seulement les objets qu'ils voient.

Voici comment l'article explique le problème et leur solution, en utilisant des analogies simples.

Le Problème : L'effet de la « Caméra Floue »

Les modèles d'IA actuels (modèles Vidéo-Langage) sont comme des personnes regardant une vidéo qui ne se souviennent que des clichés les plus importants. Si vous leur demandez : « Le chien a-t-il aboyé avant que le chat ne saute ? », ils répondent souvent au hasard. Pourquoi ? Parce qu'ils traitent la vidéo comme un « sac d'images » — un tas de photos — plutôt que comme une chronologie continue. Ils peuvent voir le chien et le chat, mais ils ne peuvent pas localiser précisément quand le chien a aboyé. Ils sont excellents pour reconnaître ce qui est là, mais médiocres pour savoir quand cela s'est produit.

La Solution : TLG (Temporal-Logic Grounding)

Les auteurs ont construit un système de détective en trois étapes appelé TLG. Au lieu d'essayer d'apprendre à l'IA à « voir » le temps parfaitement (ce qu'ils ont jugé impossible), ils ont construit un système qui utilise une « feuille de triche » chaque fois que possible.

Considérez TLG comme une équipe à trois niveaux :

Niveau 1 : Le Détective de la « Feuille de Truche » (Le Résolveur Symbolique)

C'est la star du spectacle. Les chercheurs se sont rendu compte que les vidéos du test provenaient de jeux de données existants qui possédaient déjà des « scripts » ou des « annotations » (comme un journal de bord détaillé écrit par des humains).

Comment ça marche : Au lieu de demander à l'IA de regarder la vidéo et de deviner le timing, TLG cherche l'identifiant de la vidéo dans le journal de bord. Il trouve l'heure de début et de fin exacte de chaque action (ex : « Œuf cassé : 0:05–0:10 »).
La Magie : Une fois qu'il possède ces temps exacts, il n'a plus besoin de « réfléchir » ou de « voir » quoi que ce soit. Il effectue simplement des calculs mathématiques simples (comme vérifier si 0:05 est avant 0:10). Il résout la question parfaitement, comme une calculatrice.
Le Piège : Cela ne fonctionne que si la vidéo possède une entrée dans le journal de bord. Si l'action spécifique n'est pas dans le journal, ce détective doit dire : « Je ne sais pas ».

Niveau 2 : Le Détective « Généraliste » (L'Open VLM)

Lorsque la « Feuille de Truche » n'est pas disponible, le système transmet la question à un modèle d'IA standard et puissant (Qwen2.5-VL-32B).

Comment ça marche : Cette IA regarde la vidéo et tente de répondre en fonction de ce qu'elle voit. Elle est bonne pour les questions générales mais éprouve toujours des difficultés avec le timing précis.
La Stratégie : Le système utilise cette IA pour les questions de type « Oui/Non » où l'IA est déjà assez performante.

Niveau 3 : Le Détective « Spécialiste » (Le Modèle Frontière)

Les chercheurs ont remarqué que l'IA « Généraliste » était très mauvaise pour un type de question spécifique : les Choix Multiples (où elle doit choisir le bon ordre parmi quatre options).

La Correction : Pour ces questions à choix multiples plus complexes où la Feuille de Truche a échoué, ils ont envoyé la question à une IA encore plus intelligente et coûteuse (Gemini-3.1-Pro).
Le Résultat : Ils n'ont envoyé les questions difficiles qu'à cet expert coûteux, ce qui permet de maintenir un coût bas (environ 10 $ au total pour tout le test) tout en augmentant considérablement le score.

La Grande Découverte : Les « Notes Réelles » battent les « Cerveaux Plus Gros »

La découverte la plus surprenante de l'article est ce qui n'a pas fonctionné.

L'Expérience Ratée : Les chercheurs ont essayé de construire un système où l'IA regarderait la vidéo et créerait sa propre chronologie (comme si elle écrivait son propre journal de bord). Ils ont testé cela avec trois modèles différents et puissants.
Le Résultat : Tous ont échoué. Ils étaient moins performants que si l'on laissait simplement l'IA répondre directement à la question.
La Leçon : On ne peut pas apprendre à une IA à comprendre parfaitement le « temps » simplement en la rendant plus grande ou plus intelligente. La seule façon d'obtenir un timing parfait est d'avoir de vraies notes écrites par des humains (des annotations) à consulter.

Le Tableau des Scores

Avant TLG : Un modèle d'IA robuste obtenait environ 47 % de bonnes réponses (ce qui revient pratiquement à deviner).
Après TLG : Le système a obtenu 71,37 % de bonnes réponses.
La Recette Secrète : Le plus grand bond de score provient de l'utilisation des notes humaines « fines » (les journaux de bord détaillés) et du fait de n'envoyer que les questions les plus difficiles à l'IA coûteuse.

Résumé

L'article soutient que pour ce type spécifique de puzzle vidéo, vous n'avez pas besoin d'un cerveau plus intelligent ; vous avez besoin d'une meilleure carte. En combinant un système de recherche pour les vidéos connues avec une IA intelligente pour les inconnues, ils ont résolu le défi « TimeLogic » bien mieux que quiconque, prouvant que des données précises (la carte) sont plus importantes que le simple fait d'avoir un modèle plus large (le cerveau).

Résumé Technique : TLG (Temporal-Logic Grounding) pour le Questionnement sur Vidéo

Définition du Problème

L'article traite du TimeLogic Challenge, un benchmark pour le raisonnement de logique temporelle sur la vidéo. La tâche consiste à déterminer les relations entre des événements (ex: précédence, cooccurrence, durée) en utilisant 16 opérateurs logiques temporels (ex: AVANT, APRÈS, JUSQU'À, TOUJOURS, CO-OCCURRENCE) sous des formats booléens (Oui/Non) et à choix multiples à 4 options.

Les auteurs identent un fossé de l'ancrage (grounding gap) plutôt qu'un fossé de connaissance. Les modèles de modèles de langage-vidéo (VLM) de bout en bout existants performent près du niveau du hasard (~50 %) car ils traitent la vidéo comme un « sac d'images » (bag of frames), présentant un biais de l'image unique qui les empêche de localiser de manière fiable les actions sur une chronologie. Le défi central n'est pas la compréhension du langage ou la reconnaissance d'objets, mais l'ancrage précis des actions sur des intervalles temporels.

Méthodologie : Le Pipeline TLG

La solution proposée, TLG (Temporal-Logic Grounding), est un système à trois niveaux conçu pour donner la priorité à la logique déterministe sur la perception neuronale. Il repose sur l'observation que les questions de TimeLogic sont des fonctions déterministes des annotations temporelles publiques des jeux de données sources.

Niveau 1 : Reconstruction Symbolique et Exécution

Reconstruction des Annotations : Pour chaque vidéo, TLG reconstruit une chronologie d'actions $T_v = \{(a_i, s_i, e_i)\}$ $T_{v} = {(a_{i}, s_{i}, e_{i})}$ en mappant l'ID de la vidéo aux annotations publiques du jeu de données source.
- CrossTask : Utilise les annotations de limites d'étapes (couverture de 100 %).
- Breakfast : Utilise une segmentation fine à 178 classes (ex: « atteindre le couteau ») plutôt que des étiquettes grossières à 48 classes.
- STAR/AGQA : Fusionne les segments d'action de Charades avec les relations d'état d'Action Genome et dérive les codes de graphes de situation.
Ancrage Flou (Fuzzy Grounding) : Un module de correspondance gère les écarts entre la formulation des questions (ex: gérondifs) et les étiquettes d'annotation (ex: impératifs) en utilisant la similitude Jaccard par jeton et des pénalités sensibles aux verbes. Les étiquettes composées sont décomposées selon le format camel-case et les chiffres.
Exécution Symbolique : Les questions sont analysées en programmes de logique temporelle. Le système exécute ces programmes de manière déterministe en utilisant l'arithmétique d'intervalles. Si les actions nommées ne sont pas trouvées dans les annotations, le Niveau 1 s'abstient.

Niveau 2 : Repli sur VLM Ouvert

Pour les questions où le Niveau 1 s'abstient (en raison d'annotations manquantes), le système se replie sur un VLM ouvert performant (Qwen2.5-VL-32B). Ce modèle utilise un échantillonnage de trames de type FPS et des invites de raisonnement temporel. Il sert de moteur principal pour les ~43 % de questions non couvertes par les annotations.

Niveau 3 : Raisonnement de Frontière Ciblé par Catégorie

Les auteurs ont mesuré empiriquement la performance du VLM par catégorie et ont constaté qu'il est faible sur les questions à choix multiples (MC) (précision de 19 à 57 %) mais fort sur les questions booléennes (73 à 79 %).

Stratégie de Routage : Au lieu d'envoyer toutes les questions de repli vers un modèle plus grand, TLG route uniquement les questions à choix multiples (MC) où le système s'est abstenu (ainsi que les catégories booléennes/UNTIL faibles) vers un modèle de raisonnement de frontière (Gemini-3.1-Pro).
Contrôle des Coûts : Ce niveau utilise une faible résolution média (256 jetons/image) et un faible budget de réflexion, coûtant environ 10 $ pour l'ensemble du jeu de test.

Contributions Clés

Système TLG : Une architecture à trois niveaux qui mappe les vidéos aux annotations sources pour une résolution symbolique exacte, n'utilisant les modèles neuronaux que comme un repli ciblé.
Routage Ciblé par Catégorie : Une stratégie qui isole les faiblesses du VLM (questions MC) et les délègue à un modèle de frontière, tout en maintenant les catégories fortes (booléennes) sur le VLM local, moins coûteux.
Ablation sur l'Ancrage vs Échelle : Expériences approfondies démontrant que les annotations réelles sont le principal moteur de la précision, tandis que l'augmentation de l'échelle du modèle ou la tentative de reconstruction de la chronologie par modèle produit des rendements décroissants ou des échecs.
Performance : Atteindre une précision de test de 71,37 %, soit un gain absolu de +24,5 par rapport à la ligne de base VLM, plaçant le système à 3 points près du sommet du classement.

Résultats Expérimentaux

Ligne de Base vs TLG : Un VLM de base holistique (Qwen3-VL-8B) atteint 46,9 %. Le système complet TLG atteint 71,37 %.
Analyse des Composants :
- Reconstruction Symbolique : L'ajout de la logique symbolique de CrossTask, Action Genome et des annotations fines de Breakfast améliore progressivement la précision. Les annotations fines de Breakfast ont apporté à elles seules un bond de +6,2 points, tandis que les étiquettes grossières ont contribué à environ 0.
- Échelle du Modèle : Passer du VLM de base de 8B à 32B n'a amélioré le système hybride que de +2,6 points. Les modèles plus grands (72B/78B) souffraient de problèmes de mémoire ou de sorties dégénérées.
- Échec de la Reconstruction par Modèle : Les tentatives de faire reconstruire la chronologie par un VLM pour les questions où il s'est abstenu (au lieu de consulter les annotations) ont donné une précision plus faible (67,10 %) que de laisser simplement le VLM répondre de manière holistique (67,37 %). Cela confirme que l'ancrage temporel est un goulot d'étranglement irréductible qui nécessite des annotations, et non de simples modèles plus grands.
- Frontière Ciblée : Le routage uniquement des catégories MC faibles vers Gemini-3.1-Pro a ajouté un dernier +4,0 points.

Signification et Revendications

L'article affirme que le Questionnement sur Vidéo par logique temporelle doit être recadré d'un problème de perception en un problème de reconstruction d'annotations.

L'Ancrage est Irréductible : Les auteurs concluent que l'ancrage temporel ne peut pas être appris en augmentant l'échelle des modèles ou en reconstruisant les chronologies via des réseaux neuronaux ; il dépend fondamentalement de la disponibilité des annotations temporelles de vérité terrain.
Dominance des Annotations : Les résultats montrent que « les annotations réelles — et non les modèles plus grands — pilotent la précision ». Les gains de performance les plus importants proviennent de l'accès aux annotations sources fines (Breakfast) et du routage précis des catégories, et non de la taille du modèle.
Efficacité : Le système atteint une performance proche de l'état de l'art avec un coût minimal (~10 $ pour les appels API), démontrant qu'une approche hybride symbolique-neurale est plus efficace qu'un apprentissage pur de bout en bout pour cette tâche de raisonnement spécifique.

Le fossé restant par rapport au sommet du classement (74,47 %) est attribué à un fossé d'accès aux annotations, où environ 220 questions font référence à des actions absentes de tout jeu de données source public, forçant le système à compter sur des modèles qui ne peuvent pas ancrer le temps de manière fiable.