Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

Résumé Technique : Vers des Modèles Vision-Langage à Faible Latence avec des Prédictions Doublement Correctes pour la Compréhension Visuelle Egocentrée

Énoncé du Problème
L'adoption rapide des modèles Vision-Langage (VLM) dans la collaboration humain-robot (HRC) et la compréhension visuelle egocentrée fait face à un goulot d'étranglement critique : le coût computationnel élevé et la latence d'inférence des modèles massifs entravent le traitement en temps réel sur support embarqué. Bien que l'élagage des poids (pruning) soit une technique standard pour réduire la taille du modèle et le calcul, les méthodes existantes optimisent principalement l'exactitude de la prédiction seule. Cet article soutient que dans la robotique physique à enjeux critiques pour la sécurité, l'exactitude est insuffisante. Un modèle doit produire des Prédictions Doublement Correctes (DCP) : des sorties qui sont non seulement factuellement correctes, mais aussi ancrées dans des preuves visuelles valides (rationales).

Les auteurs identent un mode de défaillance spécifique dans les stratégies d'élagage actuelles : elles préservent souvent la capacité d'identifier des preuves valides (par exemple, l'emplacement correct d'un objet) mais dégradent la capacité du modèle à utiliser cette preuve pour faire la prédiction correcte. Cela conduit à des scénarios de type « Juste pour de mauvaises raisons » où un modèle élagué peut localiser correctement une clé plate mais échouer à prédire l'action de « passage de main à main », ou inversement, prédire l'action correcte sur la base de corrélations spécieuses plutôt que sur l'objet lui-même. Un tel désalignement pose de graves risques de sécurité pour l'intelligence incarnée, pouvant mener à l'échec de la tâche ou à des blessures humaines.

Méthodologie
L'article propose une stratégie d'Élagage Informé par les Rationales conçue pour préserver la DCP tout en réduisant la charge de calcul. La méthodologie suit les étapes suivantes :

1. Définition du Protocole d'Évaluation : Les auteurs définissent un protocole d'évaluation DCP spatio-temporelle pour les vidéos egocentrées.

   • Définition de la Rationale : Les rationales sont définies comme les objets manipulés par l'humain fournissant des preuves pour une action.
   • Dimensions : La correction est évaluée selon deux dimensions : Spatiale (localisation de l'objet au sein d'une image, mesurée via la précision de la masse pertinente) et Temporelle (identification des images contenant l'objet, traitée comme une classification binaire).
   • Métriques : L'étude introduit la Fiabilité de la Prédiction (PT), la Fiabilité de l'Inférence (IR) et la proportion d'échantillons Doublement Corrects (RR) pour diagnostiquer les effets de l'élagage.

2. Résultats du Diagnostic : Les expériences sur les méthodes d'élagage post-entraînement existantes (OMP, GMP, Kwon et al., ECoFLaP) révèlent que, bien qu'elles puissent maintenir une PT élevée (rationales valides parmi les prédictions correctes), elles dégradent significativement l'IR (prédictions correctes parmi les rationales valides) et la RR. Les modèles élagués conservent souvent une localisation valide des preuves mais échouent à propager cette preuve vers la couche de décision finale, entraînant des prédictions incorrectes malgré des rationales correctes.

3. Algorithme d'Élagage Proposé : Pour remédier à cela, les auteurs introduisent un cadre d'élagage qui exploite les propres rationales générées par le modèle pour guider la sélection des poids sans supervision supplémentaire.

   • Non-uniformité par Couche : Les ratios d'élagage sont alloués de manière non uniforme entre les couches en fonction de la magnitude des poids, reconnaissant que différentes couches contribuent de manière inégale à la prédiction.
   • Hessien Guidé par la Rationale : L'innovation centrale modifie l'approche standard de l'Optimal Brain Surgeon (OBS). Au lieu d'utiliser les activations brutes des entrées pour calculer la matrice Hessienne (qui inclut le bruit de fond), la méthode incorpore un masque de rationale.
   • Modulation Sémantique : Le masque de rationale est affiné en calculant la similitude cosinus entre l'embedding textuel de l'objet de la rationale et la classe prédite. Ce score de similitude agit comme un facteur sémantique pour pondérer le masque, amplifiant les contributions des rationales sémantiquement alignées et atténuant le bruit.
   • Score de Poids : Le score d'importance pour chaque poids est calculé à l'aide d'une approximation de Taylor du second ordre de la perte, où le Hessien est construit à l'aide du masque de rationale modulé. Cela garantit que les poids critiques pour connecter les preuves valides à la décision correcte sont préservés.

Principales Contributions

• Évaluation DCP Spatio-Temporelle : L'article propose un nouveau protocole d'évaluation spécifiquement pour la compréhension visuelle egocentrée qui évalue à la fois la précision de la prédiction et la validité des rationales spatio-temporelles.
• Insight Diagnostique : À travers des expériences approfondies, les auteurs découvrent un risque jusqu'alors inexploré dans l'élagage : les méthodes existantes découplent souvent les preuves valides des décisions correctes, menant à un déploiement non fiable des VLM en robotique.
• Élagage Informé par les Rationales : Un nouvel algorithme d'élagage qui utilise les propres rationales du modèle pour guider le retrait des poids. Cette approche aligne la localisation des preuves avec la prise de décision, garantissant que les modèles réduits conservent la capacité de produire des prédictions doublement correctes.

Résultats Expérimentaux
La méthode a été évaluée sur des benchmarks vidéo egocentrés standards : EPIC-KITCHENS VISOR et EgoExo4D, en utilisant ActionCLIP (ViT-B/32) comme modèle de base.

• Performance : La méthode proposée surpasse systématiquement les bases d'élagage existantes (OMP, GMP, Kwon et al., ECoFLaP) à tous les ratios d'élagage (20%, 25%, 30%).
• Exactitude : Elle atteint l'exactitude de prédiction la plus élevée parmi toutes les méthodes comparées.
• Métriques de la Double Correction : La méthode améliore significativement la Fiabilité de l'Inférence (IR) et la proportion d'échantillons Doublement Corrects (RR). Par exemple, sur EPIC-KITCHENS VISOR à un ratio d'élagage de 30%, la méthode a amélioré l'IR spatiale de 13,62% et la RR de 3,65% par rapport à la base robuste ECoFLaP.
• Fiabilité (Trustworthiness) : La méthode préserve avec succès la Fiabilité de la Prédiction (PT), garantissant que les prédictions correctes restent ancrées dans des rationales valides.
• Études d'Ablation : Les expériences confirment que l'utilisation des masques de rationale et la modulation sémantique de ces masques sont des composants critiques ; supprimer l'un ou l'autre entraîne une chute significative de la performance DCP.

Signification et Revendications
L'article affirme que l'obtention de VLM à faible latence pour la robotique exige plus que de l'efficacité computationnelle ; elle exige de la sécurité et de la transparence. En se concentrant sur les prédictions doublement correctes, les auteurs soutiennent que leur méthode comble le fossé entre efficacité et fiabilité. Le travail suggère que les stratégies d'élagage doivent évoluer pour préserver le lien sémantique entre l'évidence et la décision. Les auteurs visent à stimuler la recherche sur les VLM efficaces qui alignent les avancées axées sur l'exactitude avec la transparence, l'auditabilité et la sécurité requises pour une interaction humain-robot responsable et une intelligence incarnée. Ils soulignent que leurs conclusions remettent en question l'hypothèse selon laquelle l'élagage n'affecte que l'efficacité et l'exactitude, mettant en lumière une nouvelle dimension de risque où les modèles deviennent « justes pour de mauvaises raisons » ou échouent à utiliser des preuves correctes.