LE-NeuS: Latency-Efficient Neuro-Symbolic Video Understanding via Adaptive Temporal Verification

Le papier présente LE-NeuS, un cadre neuro-symbolique optimisé pour la latence qui réduit considérablement le temps d'inférence dans la compréhension vidéo tout en préservant les gains de précision grâce à un échantillonnage adaptatif et une détection de propositions en lot.

L'essentiel

Imaginez que vous essayez de répondre à une question très précise sur un film de deux heures, par exemple : "Après que l'homme ait trouvé des branches et écorcé l'arbre, à quoi les a-t-il utilisées ?"

Pour un ordinateur, regarder une vidéo de deux heures et répondre à cette question est comme essayer de trouver une aiguille dans une botte de foin, mais en ayant l'obligation de lire chaque brin de paille un par un, lentement et méthodiquement.

Voici l'histoire de LE-NeuS, une nouvelle méthode qui rend ce processus beaucoup plus rapide et intelligent, expliquée simplement.

1. Le Problème : L'Enquêteur Trop Rigoureux

Dans le passé, les systèmes intelligents pour les vidéos (appelés "Neuro-symboliques") fonctionnaient comme un détective extrêmement méticuleux mais très lent.

• La méthode ancienne : Pour répondre à la question, le détective regardait chaque seconde de la vidéo, une par une. Il notait tout ce qui se passait (un homme marche, un arbre bouge, un oiseau chante) et essayait de reconstituer l'histoire logique.
• Le résultat : C'était très précis, mais incroyablement lent. Pour une vidéo de 60 minutes, cela prenait près de 16 minutes de temps de calcul juste pour trouver la réponse. C'est comme si vous deviez attendre 16 minutes pour savoir si le film a une fin heureuse ! C'est trop long pour une utilisation réelle (comme sur un téléphone ou une voiture autonome).

2. La Solution : LE-NeuS (Le Détective Intuitif)

Les auteurs de ce papier ont créé LE-NeuS. C'est comme remplacer ce détective lent par un chef d'orchestre ultra-efficace qui sait exactement où regarder.

Leur secret repose sur deux astuces principales :

Astuce 1 : Le "Filtre Magique" (Échantillonnage Adaptatif)

Au lieu de regarder chaque seconde, LE-NeuS utilise un outil rapide (appelé CLIP, un peu comme un œil humain très rapide) pour scanner la vidéo.

• L'analogie : Imaginez que vous cherchez une scène spécifique dans un film. Au lieu de lire le script entier, vous scannez les résumés des scènes. Si une scène parle de "manger", mais que vous cherchez une scène de "combat", vous la sautez immédiatement.
• En pratique : LE-NeuS saute les moments ennuyeux ou répétitifs (comme un ciel bleu qui ne change pas pendant 10 minutes) et ne garde que les images clés où l'action se passe vraiment. Il ne regarde que les moments qui ont du sens par rapport à votre question.

Astuce 2 : Le "Travail d'Équipe" (Détection par Lots)

Une fois les images clés sélectionnées, le système doit les analyser en détail.

• L'ancienne méthode : Le détective prenait une image, posait une question, attendait la réponse, puis prenait la suivante. C'était comme demander à un seul cuisinier de préparer 100 plats un par un.
• La nouvelle méthode (LE-NeuS) : Le système utilise la puissance de la carte graphique (le cerveau de l'ordinateur) pour traiter plusieurs images en même temps. C'est comme si le chef d'orchestre donnait 100 partitions à 100 musiciens qui jouent tous en même temps.
• Résultat : Au lieu de prendre 16 minutes, cela prend environ 44 secondes. C'est une accélération de plus de 12 fois !

3. Le Résultat : Rapide ET Précis

Le plus impressionnant, c'est que cette vitesse ne se fait pas au détriment de la qualité.

• En regardant moins d'images, mais les bonnes images, le système est même plus précis que l'ancienne méthode lente.
• Il réussit à reconstituer l'histoire logique (l'homme a trouvé des branches -> il les a écorcées -> il a construit un abri) sans se perdre dans le bruit de fond.

En Résumé

LE-NeuS est une nouvelle façon de faire comprendre les vidéos aux ordinateurs.

• Avant : Regarder tout, très lentement, comme un robot lent.
• Maintenant : Regarder intelligemment les moments importants et traiter plusieurs informations en parallèle, comme un expert rapide.

C'est une avancée majeure qui permet enfin d'utiliser ces technologies intelligentes dans des situations réelles où le temps compte (comme dans les voitures autonomes, les assistants personnels ou l'analyse de vidéos de sécurité), sans attendre des heures pour obtenir une réponse.

Résumé technique

Résumé Technique : LE-NeuS

1. Problématique

Le domaine de la Réponse aux Questions sur des Vidéos Longues (LVQA - Long-Form Video Question Answering) fait face à un compromis critique entre précision et latence.

• Limites des VLMs standards : Les modèles Vision-Language (VLM) actuels, bien que performants, peinent avec le raisonnement compositionnel à long terme. Ils utilisent souvent un échantillonnage uniforme de trames, ce qui peut omettre des transitions temporelles cruciales ou diluer le raisonnement avec du contenu de fond.
• Limites des approches Neuro-Symboliques existantes : Des méthodes comme NeuS-QA ont démontré une amélioration significative de la précision (environ +10% sur des requêtes temporelles complexes) en ancrant le raisonnement dans la logique temporelle et la vérification formelle (model checking). Cependant, ces approches souffrent d'une surcharge de latence prohibitive (jusqu'à 90 fois plus lente que le prompting VLM de base). Cela est dû à la construction séquentielle et dense d'automates, où chaque fenêtre de trames doit être évaluée pour chaque proposition atomique, rendant le déploiement sur des systèmes sensibles à la latence (comme les dispositifs edge) impraticable.

Objectif : Concevoir un cadre neuro-symbolique qui préserve les garanties de raisonnement formel et la précision de NeuS-QA tout en réduisant drastiquement la latence d'inférence.

2. Méthodologie : LE-NeuS

LE-NeuS (Latency-Efficient Neuro-Symbolic) propose une refonte du pipeline de construction d'automates en exploitant la redondance visuelle et la parcimonie sémantique des vidéos longues. L'approche repose sur trois optimisations principales :

A. Échantillonnage Adaptatif Guidé par CLIP (Deux Étages)
Au lieu d'échantillonner uniformément toutes les trames, LE-NeuS utilise une approche hiérarchique pour isoler les trames clés :

1. Filtrage de la pertinence sémantique (Stage 1) : Utilise les embeddings CLIP (ViT-B/32) pour projeter les trames et les propositions atomiques dans un espace latent commun. Seules les trames dont la similarité avec les propositions dépasse un seuil ($\tau_s$) sont conservées. Cela élimine le contenu de fond non pertinent.
2. Élimination de la redondance visuelle (Stage 2) : Au sein des trames candidates, un deuxième passage compare les trames consécutives. Si la similarité visuelle est trop élevée (au-dessus d'un seuil $\tau_r$), la trame est considérée comme redondante et supprimée. Seules les trames "clés" (keyframes) distinctes sont retenues pour l'inférence lourde.

B. Détection de Propositions par Lots (Batched Proposition Detection)
Le goulot d'étranglement principal de NeuS-QA est l'appel séquentiel au VLM pour chaque paire (fenêtre, proposition).

• LE-NeuS restructure ce processus en inférence par lots (batching). Au lieu d'appeler le VLM $|P|$ fois pour une fenêtre, il empile les $|P|$ propositions sur une seule entrée visuelle (la fenêtre de trames) et effectue une seule passe avant.
• Cela maximise l'utilisation du GPU, amortit les coûts fixes de chargement des poids et de lancement du noyau, et réduit le nombre de passes avant de $|P|$ à $\lceil |P|/B \rceil$.

C. Récupération Multi-Segments (Multi-Segment FoI Retrieval)
Contrairement aux méthodes précédentes qui ne récupèrent qu'un seul segment continu satisfaisant la logique, LE-NeuS identifie plusieurs segments disjoints où les propositions et la logique temporelle sont vérifiées.

• Cela permet de concentrer le budget d'échantillonnage du VLM final uniquement sur les intervalles riches en preuves, augmentant la probabilité de capturer les événements critiques et améliorant la précision du raisonnement final.

Flux de travail global :

1. Traduction de la requête en spécification de logique temporelle ($\phi$).
2. Échantillonnage adaptatif (CLIP) pour obtenir un ensemble de trames clés $K$.
3. Détection de propositions par lots sur $K$.
4. Construction de l'automate vidéo et vérification formelle (Model Checking) pour identifier les segments satisfaisants.
5. Génération de la réponse finale par un VLM sur les segments vérifiés.

3. Contributions Clés

• Analyse théorique de la latence : Les auteurs dérivent des bornes supérieures de latence en fonction de la longueur de la vidéo, de la complexité des propositions et de la densité d'échantillonnage, établissant formellement les conditions sous lesquelles l'efficacité est atteignable.
• Optimisation du pipeline : Introduction d'un mécanisme de filtrage sémantique et visuel combiné à une inférence par lots, réduisant le nombre de trames traitées par le VLM sans sacrifier la couverture sémantique.
• Preuve de concept : Démonstration qu'il est possible de maintenir les garanties formelles du raisonnement neuro-symbolique tout en réduisant la latence de plusieurs ordres de grandeur.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les benchmarks LongVideoBench, Video-MME et MLVU avec des GPU NVIDIA H100.

• Réduction de la Latence :

  • LE-NeuS réduit l'écart de latence par rapport au prompting VLM de base de 90x à environ 10x.
  • Par rapport à la méthode de référence NeuS-QA, LE-NeuS offre un accélération globale de 12,53x.
  • Pour une vidéo de 60 minutes, le temps d'inférence passe de ~958 secondes (NeuS-QA) à ~70 secondes (LE-NeuS), en utilisant seulement 281 trames pertinentes contre 1427 pour la méthode de base.

• Précision (Accuracy) :

  • Malgré la réduction drastique du nombre de trames traitées, LE-NeuS améliore la précision.
  • Sur LongVideoBench, avec le modèle InternVL2.5-8B, LE-NeuS atteint 67,10% de précision, surpassant NeuS-QA (61,89%) de 5,21 points.
  • Sur la catégorie "Temporal Reasoning" de Video-MME, l'amélioration est de 12,07% par rapport à NeuS-QA.
  • L'ablation study confirme que la stratégie de récupération multi-segments est cruciale pour regagner la précision perdue par l'échantillonnage agressif.

5. Signification et Impact

Ce travail est significatif car il résout le principal obstacle au déploiement pratique des systèmes neuro-symboliques pour la vidéo : la latence.

• Déploiement Edge : En réduisant la latence à un niveau acceptable, LE-NeuS ouvre la voie à l'utilisation de raisonnement logique formel sur des dispositifs à ressources limitées ou dans des applications temps réel (véhicules autonomes, systèmes embarqués, assistants visuels).
• Efficacité Énergétique : La réduction du nombre d'appels VLM et de trames traitées implique une consommation énergétique nettement inférieure.
• Généralité : Bien que présenté pour la LVQA, le cadre s'applique à tout système nécessitant un raisonnement temporel structuré sous contrainte de temps, y compris la vérification d'agents autonomes et la surveillance critique.

En résumé, LE-NeuS démontre que l'efficacité computationnelle et la rigueur du raisonnement symbolique ne sont pas mutuellement exclusives, offrant une nouvelle voie pour des systèmes de compréhension vidéo à la fois précis et rapides.