Résumé Technique : SAVER – Preuve Visuelle Sélective à la Demande pour l'Extraction d'Informations Multimodales

1. Énoncé du Problème

L'extraction d'informations (IE) multimodale sur les réseaux sociaux fait face à un défi unique : les publications contiennent souvent plusieurs images faiblement liées, redondantes, voire trompeuses par rapport au texte accompagnateur. Les approches traditionnelles emploient généralement une fusion multimodale « toujours active », concaténant ou fusionnant de manière attentive toutes les caractéristiques visuelles disponibles avec le texte. Cette stratégie est inefficace et contre-productive dans ce contexte car :

• Gaspillage Computationsnel : Le traitement de toutes les images indépendamment de leur pertinence augmente la latence et les FLOPs.
• Amplification du Bruit : La fusion toujours active peut amplifier des corrélations inter-modales spuriées lorsque les images sont non pertinentes.
• Absence d'Étiquettes de Groundabilité : Les données d'entraînement annotent les entités et les relations mais indiquent rarement si une unité de texte spécifique (par exemple, un segment d'entité ou une paire de relations) est ancrée visuellement, rendant difficile l'apprentissage du moment où consulter la vision.

Le défi central consiste à déterminer, pour chaque unité de prédiction, si la vision doit être consultée du tout, et si oui, quel petit sous-ensemble d'images fournit une preuve fiable.

2. Méthodologie : Le Cadre SAVER

SAVER (Preuve Visuelle Sélective à la Demande) résout ces problèmes en traitant la vision comme une preuve optionnelle plutôt que comme un canal d'entrée obligatoire. Le cadre fonctionne via un pipeline modulaire composé de quatre étapes principales :

2.1 Configuration de la Tâche et Représentations

SAVER cible deux tâches :

• Reconnaissance d'Entités Nommées Multimodale (MNER) : Identification des segments et types d'entités.
• Extraction de Relations Multimodale (MRE) : Classification des relations entre paires d'entités marquées.

Le système utilise un encodeur de texte pour générer des représentations de tokens/segments et un encodeur de vision pour produire des vecteurs d'image globaux. Les vecteurs au niveau des régions sont extraits uniquement lorsque nécessaire.

2.2 Porte de Groundabilité Conformée (CGG)

La CGG est le mécanisme central pour décider quand utiliser la vision.

• Notation : Pour un segment candidat (en MNER) ou une paire d'entités (en MRE), la porte calcule un « score de groundabilité » ($g$) en utilisant uniquement les vecteurs d'image globaux mis en cache. Elle n'extrait pas de vecteurs de région sauf si la porte est activée.
• Calibration : Pour éviter les étiquettes explicites de groundabilité, SAVER utilise une procédure de calibration de style conforme sur un ensemble de validation. Elle sélectionne un seuil ($\tau$) tel que le taux d'erreur du sous-ensemble activé soit borné par un risque cible ($\alpha$) en utilisant les bornes supérieures de Clopper–Pearson.
• Décision : Si le score dépasse $\tau$, la branche visuelle est activée ; sinon, le modèle suit un chemin texte uniquement.

2.3 Constructeur de Preuve (SIS ou RES)

Lorsque la porte est activée, SAVER doit sélectionner un sous-ensemble compact et diversifié d'images parmi l'ensemble potentiellement vaste d'images jointes.

• Sélecteur d'Images Submodulaire (SIS) : Le sélecteur principal utilise un objectif submodulaire monotone pour maximiser la pertinence (similarité avec la requête) et la diversité (couverture d'autres images pertinentes). Il emploie un algorithme glouton avec une garantie d'approximation de $(1 - 1/e)$.
• Sélecteur de Preuve Renforcé (RES) : Une extension optionnelle utilisant l'Apprentissage par Renforcement (RL) pour acquérir séquentiellement des preuves avec une action « STOP », optimisée via des récompenses conscientes des coûts.
• Agrégation : Les images sélectionnées (et leurs $k$-plus grandes régions) sont agrégées à l'aide d'un Set Transformer pour assurer l'invariance par permutation.

2.4 Tête de Notation Jointe Inspirée de l'Énergie

L'étape finale combine le texte, la preuve visuelle optionnelle et la régularisation de cohérence dans une fonction de notation unifiée.

• Fusion : Les représentations textuelles sont fusionnées avec la preuve visuelle agrégée ($z_{set}$) via un mécanisme de porte.
• Cohérence : Un score de cohérence mesure l'alignement entre la représentation textuelle fusionnée et la preuve visuelle.
• Objectif : Le modèle minimise une fonction d'énergie incluant des pertes spécifiques à la tâche (validité du segment, type, relation), une régularisation de cohérence et une pénalité de parcimonie pour l'activation de la branche visuelle. Lors de l'inférence, un gating dur est appliqué ; pendant l'entraînement, des portes souples permettent une optimisation différentiable.

3. Contributions Clés

L'article expose trois contributions principales :

1. Gating Contrôlé par le Risque : L'introduction de la CGG, qui calibre les seuils d'activation pour garantir un taux d'erreur borné du sous-ensemble activé en utilisant des règles de sélection de style conforme, décidant efficacement quand la vision est nécessaire sans supervision explicite.
2. Preuve Multi-Image Compacte : L'utilisation d'un sélecteur submodulaire (SIS) pour construire un petit ensemble de preuves diversifié, réduisant la redondance et le coût computationnel tout en préservant l'information pertinente.
3. Notation Unifiée avec Cohérence et Parcimonie : Une tête de notation jointe inspirée de l'énergie qui couple les tâches MNER et MRE avec la cohérence texte-image et un routage parcimonieux, améliorant la précision et la sélectivité tout en maintenant l'efficacité.

4. Résultats Expérimentaux

Des expériences ont été menées sur plusieurs benchmarks, notamment MRE-MI (multi-image), MNRE (image unique) et divers ensembles de données MNER (Twitter-2015/2017, MNER-MI/Plus).

• Performance : SAVER surpasse systématiquement les bases solides texte uniquement et les modèles multimodaux « toujours actifs » (par exemple, HVPNeT, RSRNeT) en termes de score F1. Les gains sont les plus prononcés dans les configurations multi-images où la pertinence des images varie considérablement.
• Efficacité : SAVER réduit considérablement le coût computationnel. Sur le benchmark MRE-MI, il a réduit les FLOPs de ~60G/échantillon (RSRNeT) à 36G/échantillon et la latence P90 de 90 ms à 54 ms.
• Sélectivité et Calibration : Le cadre atteint une couverture d'activation élevée (ActCov@0.10) tout en maintenant le taux d'erreur du sous-ensemble activé en dessous du niveau de risque cible ($\alpha=0.10$). Il démontre des compromis risque-activation-couverture supérieurs par rapport aux bases de gating basées sur la confiance.
• Études d'Ablation : Le retrait de tout composant (CGG, SIS ou la tête de notation jointe) dégrade les performances, confirmant que chaque module contribue indépendamment au succès du système.

5. Importance et Revendications

L'article revendique que SAVER représente un changement de paradigme pour l'IE multimodale : passer de « comment fusionner le texte et les images » à « quand utiliser la vision et quelles images faire confiance ».

• Modularité : Le cadre est conçu pour être modulaire, permettant l'intégration d'encodeurs alternatifs ou de sélecteurs de preuves.
• Interprétabilité : Contrairement aux modèles de fusion boîte noire, SAVER fournit des sorties explicites concernant les images sélectionnées, les poids d'attention du Set Transformer et les scores de cohérence pour les unités activées.
• Praticité : En s'appuyant sur des embeddings globaux mis en cache pour le gating et en n'extrayant des caractéristiques de région que pour les images sélectionnées, le cadre est computationnellement réalisable pour un déploiement réel où la latence et le coût sont des contraintes critiques.

Les auteurs concluent que l'utilisation sélective de la vision est particulièrement vitale lorsqu'il s'agit de gérer les paires image-texte bruyantes, redondantes et faiblement alignées caractéristiques des réseaux sociaux, offrant une voie vers une extraction multimodale plus efficace et précise.