A VLM Answer Is Not an Anomaly Score: Rank Compression in Training-Free Video Anomaly Detection

Dans le bourdonnement discret d'un système de surveillance, une caméra observe un coin de rue, le sol d'une usine ou une station de métro, attendant que quelque chose tourne mal. Pendant des décennies, les ordinateurs ont lutté pour repérer ces moments de trouble, appelés anomalies, car ils sont rares, imprévisibles et ressemblent souvent à rien du tout jusqu'à ce qu'ils se produisent. Les systèmes traditionnels exigeaient que les ingénieurs leur apprennent à quoi ressemble un crime ou un accident en leur fournissant des milliers d'exemples, un processus lent et rigide. Récemment, un nouveau type d'intelligence artificielle appelé modèle de vision-langage a offert une voie différente. Ce sont des systèmes puissants capables de voir une image et de la comprendre à travers le prisme du langage humain. Au lieu d'être entraînés sur des exemples spécifiques de violence ou de vol, on peut leur poser une question simple : « Quelque chose de dangereux se passe-t-il ici ? » Si le modèle répond « Oui », le système signale le moment. Cela semble être une solution simple, mais une nouvelle étude révèle que la manière dont nous écoutons la réponse compte tout autant que la réponse elle-même.

Des chercheurs de l'Université SungKyunKwan en Corée du Sud ont étudié comment ces modèles traduisent leurs pensées en un score qu'un ordinateur peut utiliser pour classer des événements. Ils ont découvert que la manière standard d'utiliser ces modèles consistait à jeter une vaste quantité d'informations utiles. Lorsqu'on demande à un modèle de juger un clip vidéo, il ne choisit pas simplement un mot unique comme « Oui » ou « Non » dans une liste. Au lieu de cela, il calcule une probabilité pour chaque réponse possible qu'il pourrait donner. Voyez cela comme une échelle de certitude. Le modèle peut être sûr à 94 % qu'un clip est dangereux et sûr à 56 % qu'un autre clip est dangereux. Sous l'ancienne méthode, les deux clips recevraient simplement l'étiquette « Oui », et l'ordinateur les traiterait comme identiques. Les chercheurs ont découvert que cette perte de détails, qu'ils appellent compression de rang, fait que le système manque les différences subtiles qui séparent un évitement de justesse d'un danger manifeste.

Pour corriger cela, l'équipe a testé une approche différente. Au lieu d'attendre que le modèle choisisse un seul mot, ils ont examiné l'ensemble de la distribution de probabilités que le modèle génère pour chaque réponse possible. Ils ont transformé toute cette distribution de certitude en un nombre unique et précis. Cette méthode, qu'ils appellent lecture de probabilité (probability readout), a permis au système de voir que le clip à 94 % était nettement plus dangereux que celui à 56 %, même si les deux étaient étiquetés « Oui ». Lorsqu'ils ont testé cette méthode sur quatre modèles différents de grande taille et deux références majeures pour les anomalies vidéo, les résultats ont été frappants. La nouvelle approche a surpassé l'ancienne dans chaque test. Sur un ensemble de données, l'amélioration de la précision était aussi élevée que 13 points de pourcentage, et sur un autre, elle atteignait près de 19 points. Ces gains n'étaient pas de petites fluctuations ; ils étaient constants et significatifs, apparaissant quel que soit le modèle utilisé ou le type de question posée.

Les chercheurs ont également exploré pourquoi l'ancienne méthode échouait si souvent. Ils ont découvert que même lorsqu'ils donnaient aux modèles une échelle très fine pour choisir, leur permettant de choisir parmi 91 nombres différents au lieu de seulement deux, les modèles continuaient à compresser leurs réponses en une poignée de valeurs répétées. Le système finissait toujours par traiter de nombreux clips comme identiques, créant un « ex æquo » dans le classement. La nouvelle méthode évitait entièrement ce piège. En utilisant la distribution de probabilité complète, le système pouvait distinguer presque chaque moment de la vidéo, créant un classement fluide et détaillé plutôt qu'une liste dentelée d'ex æquos. Cette différence était cruciale car, en sécurité, la capacité de classer les moments les plus dangereux tout en haut est ce qui importe le plus. L'étude a montré que la nouvelle méthode pouvait doubler le nombre de dangers réels trouvés à un faible taux de fausses alertes, rendant le système deux fois plus utile sans nécessifier de nouvel entraînement ou de puissance de calcul supplémentaire.

L'équipe a également vérifié pour s'assurer que cet avantage était réel et n'était pas simplement un artefact de la formulation de la question ou de la manière dont le modèle était invité à expliquer sa pensée. Ils ont essayé de demander aux modèles de décrire la scène avant de donner un score, ou d'expliquer leur raisonnement après. Dans chaque cas, la méthode qui examinait la distribution de probabilité complète restait supérieure. Ils ont même testé si des modèles plus grands et plus puissants combleraient l'écart, mais ont constaté que l'avantage persistait et augmentait parfois. Le seul cas où l'avantage diminuait était lorsque le modèle était forcé d'écrire une explication avant de donner son score, ce qui semblait compresser sa certitude interne. Cela suggère que la clé pour débloquer le plein potentiel de ces systèmes d'IA réside dans la manière dont nous lisons leur sortie.

Ce travail ne propose pas seulement un petit ajustement ; il redéfinit une étape critique dans la façon dont nous utilisons l'intelligence artificielle pour la sécurité. Les chercheurs ont démontré que l'interface entre le processus de pensée interne d'un modèle et le score final n'est pas un détail mineur mais une partie centrale de la performance du système. En changeant simplement la manière dont la réponse est lue — en regardant l'image complète de la certitude plutôt que le simple mot final — les ingénieurs peuvent transformer le même modèle figé en un détecteur beaucoup plus aiguisé. L'étude conclut que pour quiconque construit des systèmes pour surveiller les problèmes, le choix de la manière d'interpréter la réponse du modèle est aussi important que le modèle lui-même. C'est un rappel que dans le monde de l'intelligence artificielle, le signal le plus puissant est souvent caché dans la nuance de ce qui est presque dit, et non dans le mot final prononcé.