💻 computer science

Counterfactual Sensitivity Is Not Repairability: Auditing Replay Probes for Video Evidence

Cet article introduit CARVE, une méthode d'audit contrefactuel de type boîte noire qui distingue l'ancrage visuel authentique des corrélations spécieuses chez les agents vidéo en comparant la stabilité des réponses sous des conditions de relecture « sham » (simulées) et « destroy » (destructurées) appariées, démontrant ainsi son efficacité en tant que signal de routage reproductible pour améliorer la sélection des questions et la précision.

Auteurs originaux : Rama AlHamidi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Publié 2026-08-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rama AlHamidi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le paysage moderne de l'intelligence artificielle, une nouvelle génération de systèmes a émergé, qui ne se contentent pas de lire du texte mais regardent activement des vidéos pour répondre à des questions. Ces « agents vidéo » fonctionnent en découpant un long film en morceaux plus petits, en sélectionnant des images spécifiques qui semblent pertinentes, puis en utilisant ces extraits visuels pour construire une réponse. La promesse de cette technologie est que la réponse finale est construera directement à partir de ce que la machine a vu, ancrant sa logique dans les séquences réelles plutôt que de s'appuyer sur des connaissances préexistantes ou des suppositions. Cependant, une inquiétude persistante hante le domaine : la machine regarde-t-elle vraiment la vidéo, ou ignore-t-elle simplement les images qu'elle a récupérées pour répondre uniquement à partir de la question ? Si un agent prétend avoir regardé une scène mais répond en réalité à partir de sa mémoire, sa fiabilité est compromise, pourtant il n'y avait aucun moyen simple de tester un système figé et immuable pour voir s'il prête réellement attention.

Des chercheurs ont développé une méthode appelée CARVE pour résoudre ce problème en agissant comme un auditeur strict pour ces agents vidéo. Le processus commence par un agent vidéo qui a déjà regardé un clip et produit une réponse finale. Les chercheurs reprennent ensuite la question exacte et l'ensemble exact d'images vidéo que l'agent a initialement sélectionnés, mais ils font passer le système une seconde fois sous deux conditions différentes et soigneusement appariées. Dans la première condition, le système voit les images exactement telles qu'elles étaient, préservant tous leurs détails visuels. Dans la seconde condition, les chercheurs brouillent le contenu visuel de ces mêmes images de sorte que les formes et les objets soient détruits, ne laissant qu'un motif de bruit statique et méconnaissable, tout en conservant le minutage et la disposition identiques. En comparant la fréquence à laquelle l'agent change sa réponse lorsque le contenu visuel est brouillé par rapport à lorsqu'il est préservé, les chercheurs peuvent mesurer si la décision de l'agent dépendait réellement de ce qu'il a vu.

L'étude a révélé une différence claire et significative entre ces deux conditions. Lorsque le contenu visuel était brouillé, l'agent changeait sa réponse environ vingt-neuf points de pourcentage plus souvent que lorsque le contenu visuel était intact. Cet écart important suggère que, en moyenne, l'agent est effectivement sensible au contenu visuel qu'il récupère ; s'il répondait purement à partir de sa mémoire ou de schémas linguistiques, le brouillage des images ne provoquerait pas un changement aussi radical dans ses réponses. Cet effet global était reproductible à travers plusieurs exécutions indépendantes, confirmant que l'intervention fonctionne et que l'agent n'ignore pas entièrement la vidéo.

Cependant, les chercheurs ont découvert que ce résultat moyen clair ne se traduit pas parfaitement en un test fiable pour chaque question individuelle. Lorsqu'ils ont tenté d'utiliser ce score pour décider si l'agent répondait correctement ou incorrectement à une question spécifique, les résultats sont devenus instables. Le score est calculé en comptant combien de fois la réponse bascule lors d'un petit nombre d'essais, et avec seulement quelques essais, le résultat tombe souvent exactement sur une égalité ou fluctue près de zéro. Cela signifie que, pour toute question individuelle, il est difficile de dire avec certitude si l'agent était ancré dans la vidéo ou non. Les chercheurs ont constaté qu'augmenter le nombre d'essais pour obtenir un score plus précis rendait en réalité le processus de prise de décision pire. Bien que davantage d'essais aient clarifié le nombre exact, ils ont fait passer de nombreuses questions qui étaient auparavant marquées comme « incertaines » dans une catégorie « sûre », faisant ainsi manquer au système des opportunités de correction d'erreurs.

Par conséquent, l'équipe a conclu que cet outil est préférable pour servir de signal de routage plutôt que de certificat de vérité définitif. Il ne s'agit pas d'un détecteur parfait capable de dire si une réponse est juste ou fausse, ni de prouver que l'agent a regardé la bonne partie de la vidéo. Au lieu de cela, il sert de guide pratique pour savoir quand faire confiance à la première réponse de la machine et quand demander un second avis. En utilisant l'outil pour identifier un groupe spécifique de questions où l'agent semblait incertain ou excessivement sensible au brouillage visuel, les chercheurs ont pu diriger ces cas vers un système secondaire. Cette stratégie a amélioré la précision globale des réponses de plus de trois points de pourcentage, un gain significatif dans ce domaine. L'étude révèle finalement que, bien que les agents vidéo soient généralement influencés par ce qu'ils voient, la relation entre leur attention visuelle et leur réponse finale est complexe et bruyante, nécessitant une gestion prudente plutôt qu'un simple test de réussite ou d'échec.

Résumé Technique : CARVE – Audit Contrefactuel de l'Évidence Visuelle Récupérée

Énoncé du Problème
Les agents vidéo utilisant des outils récupèrent des preuves visuelles (images, fenêtres temporelles) pour répondre à des questions, pourtant leurs architectures n'imposent pas que la réponse finale dépende de cette preuve récupérée. Les diagnostics existants nécessitent souvent des intervalles temporels annotés ou un modèle « juge » distinct pour déterminer si un agent hallucine ou s'appuie sur des priors linguistiques plutôt que sur l'entrée visuelle. Les auteurs identissent une lacune : les praticiens possédant un système à agent fermé, potentiellement fixe, ont besoin d'une méthode pour auditer la dépendance à l'évidence sans modifier le modèle, sans accéder aux gradients, ni s'appuyer sur des annotations externes.

Méthodologie : La Sonde CARVE
Le papier introduit CARVE (Counterfactual Auditing of Retrieved Visual Evidence), une sonde contrefactuelle appariée en boîte noire, conçue pour mesurer si la réponse engagée par un agent change lorsque son évidence visuelle récupérée est sémantiquement détruite.

Conception de l'Intervention :
- SHAM (Contrôle) : Les images récupérées de l'agent sont préservées, mais le pipeline est réexécuté (régénération de la réalisation des pixels, analyse syntaxique et réponse) pour capturer la variabilité inhérente au pipeline.
- DESTROY (Intervention) : Les mêmes images récupérées subissent une randomisation de la phase de Fourier. Cela perturbe les structures visuelles dépendantes de la phase (détruisant le contenu sémantique) tout en préservant la disposition, le spectre d'amplitude et le nombre de frames.
- Comparaison : La réponse originale de l'agent ( $\hat{a}$ ) est gelée. Les conditions SHAM et DESTROY sont rejouées $k$ fois. Le score $\hat{\Delta}$ est la différence entre les taux de changement de réponse de DESTROY et de SHAM : $\hat{\Delta} = \hat{\delta}_{destroy} - \hat{\delta}_{sham}$ .
Cadre Théorique :
- L'estimateur $\hat{\Delta}$ est modélisé comme la différence de deux proportions binomiales.
- Les auteurs dérivent la loi exacte du rejeu fini, montrant que le score possède un support discret (espacé par $1/k$ ) et une probabilité non nulle d'exemples d'égalité exacte (score zéro) même lorsque le score de la population est non nul.
- Cette analyse souligne une distinction critique : une sonde peut être fiable de manière agrégée (montrant un effet moyen important) tout en restant instable en tant que règle de décision par question en raison de la variance et de la discrétisation à de faibles budgets de rejeu ( $k$ ).
Politique de Routage :
- La politique principale délègue une question à un second répondant si $\hat{\Delta} \leq 0$ (indiquant que la réponse n'a pas changé de manière significative plus souvent sous la destruction que sous le rejeu intact, suggérant que la réponse originale ne dépend peut-être pas de l'évidence).
- L'étude évalue cette politique à différents budgets de rejeu ( $k=3$ et $k=10$ ).

Contributions Clés

Un Audit Contrefactuel Apparié : CARVE isole la sensibilité de l'intervention de la variabilité du pipeline sans nécessiter les poids du modèle, les logits, le réentraînement ou des intervalles annotés.
Théorie du Rejeu Fini : Le papier fournit un compte rendu théorique de la variance, de la discrétisation et de la probabilité d'égalité des sondes contrefactuelles, expliquant pourquoi la stabilité agrégée ne garantit pas des seuils stables par question.
Découplage de la Résolution du Score et de l'Utilité de Décision : Les auteurs démontrent qu'augmenter le budget de rejeu ( $k$ ) résout l'ambiguïté du score (réduisant les égalités) mais peut paradoxalement affaiblir une politique de routage fixe. Une plus grande précision de mesure n'entraîne pas nécessairement un meilleur contrôleur si la distribution des cas exploitables se déplace par rapport à la frontière de décision.
Caractérisation Empirique : L'étude distingue la couverture temporelle, la stabilité du rejeu et la réparabilité, montrant que CARVE est un signal de routage plutôt qu'un classificateur de mise en évidence directe.

Résultats

Effet Agrégé : À travers trois exécutions indépendantes sur un agent de type VideoExplorer gelé utilisant le jeu de données LVBench ( $n=1.258$ ), DESTROY a changé la réponse 29,3 points de pourcentage plus souvent que SHAM. Cela confirme un effet d'intervention agrégé important et reproductible.
Performance de Routage :
- À $k=3$ , la politique inclusive ( $\hat{\Delta} \leq 0$ ) a sélectionné 538 questions (42,8 % de l'ensemble) et a amélioré la précision de 3,26 points de pourcentage (de 45,47 % à 48,73 %).
- La politique a produit 7,62 réparations nettes pour 100 appels de repli (fallback), surpassant les sous-ensembles de routage aléatoire appariés.
- Stabilité vs Utilité : Augmenter $k$ de 3 à 10 a résolu la plupart des égalités (réduisant la masse d'égalité) mais a affaibli la politique de routage. La politique à $k=10$ a sélectionné moins de questions et a produit des gains de précision moindres, car de nombreuses questions qui étaient « ex æquo » (et donc sélectionnées) à $k=3$ sont devenues positives (et exclues) à $k=10$ .
Validité de Construction :
- Le score $\hat{\Delta}$ ne montre qu'une faible association avec la couverture temporelle annotée (ROC-AUC $\approx$ 0,53).
- La relation est conditionnelle : pour les réponses correctes, les questions couvertes avaient des scores plus élevés ; pour les réponses incorrectes, les questions couvertes avaient des scores plus bas. Cela indique que $\hat{\Delta}$ n'est pas une mesure directe de savoir si l'évidence chevauche l'intervalle de vérité terrain.
Transférabilité : La règle de routage a montré des gains moyens positifs lorsqu'elle est appliquée à un autre squelette de répondant (Qwen2.5-VL) et sur le benchmark Video-MME, bien que l'ampleur soit asymétrique.

Signification et Revendications
Le papier revendique modestement que CARVE fournit une méthode pratique et sans annotation pour auditer si la réponse d'un agent vidéo figé dépend de son évidence récupérée.

Pas un Certificat de Mise en Évidence : Les auteurs précisent explicitement que CARVE n'est pas un classificateur de mise en évidence directe ou une étiquette de correction. Un score faible ne prouve pas l'indépendance vis-à-vis de la vidéo, et un score élevé ne garantit pas que la réponse est correcte.
Un Signal de Routage : L'utilité principale de CARVE est celle d'un signal de routage dépendant du budget. Il identifie un sous-ensemble de questions où un mécanisme de repli est susceptible de produire des réparations, performant mieux qu'une sélection aléatoire.
Aperçu de la Conception de Politique : Une découverte clé est qu'une mesure contrefactuelle « plus précise » (un $k$ plus élevé) n'améliore pas automatiquement la prise de décision. L'utilité de la sonde dépend fortement du point de fonctionnement spécifique (par exemple, le bloc d'égalité à $k=3$ ) et de la façon dont la distribution des cas s'aligne avec le seuil de décision.

En résumé, CARVE offre une méthode robuste en boîte noire pour détecter la dépendance à l'évidence dans les agents vidéo, révélant que si l'effet agrégé de la destruction de l'évidence est fort, le score par question est volatil et s'utilise mieux comme un mécanisme de routage grossier plutôt que comme un outil de diagnostic de précision.

Articles similaires