🤖 machine learning

MINER: Mining Multimodal Internal Representation for Efficient Retrieval

MINER est un module plug-in léger qui améliore la récupération multimodale efficace à vecteur unique en sondant et en fusionnant de manière adaptative des signaux internes pertinents pour la récupération à travers les couches de transformateurs, atteignant une précision supérieure comparable à celle des modèles lourds à interaction tardive tout en maintenant des coûts de stockage et de latence faibles.

Auteurs originaux : Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver un fait précis au sein d'une immense bibliothèque de documents colorés et complexes — comme un mélange de graphiques, de photos et de texte sur une seule page. C'est le défi de la Recherche de Documents Visuels.

Actuellement, il existe deux méthodes principales par lesquelles les ordinateurs tentent de résoudre ce problème, et toutes deux présentent un défaut majeur :

La méthode « Détaillée mais Lourde » (Interaction tardive) : Imaginez un bibliothécaire qui lit chaque mot et examine chaque détail infime d'une photo, en écrivant des milliers de notes pour chaque page. C'est incroyablement précis car rien n'est omis, mais c'est lent et cela nécessite une quantité massive d'espace de stockage (comme avoir besoin d'un entrepôt juste pour stocker les notes).
La méthode « Rapide mais Superficielle » (Vecteur unique dense) : Imaginez un autre bibliothécaire qui jette un coup d'œil rapide à l'ensemble de la page et écrit une seule phrase résumée pour représenter l'ensemble du document. C'est ultra-rapide et cela prend très peu de place, mais parce qu'il a dû compresser tout le contenu en une seule phrase, il manque souvent les détails importants nécessaires pour trouver la bonne réponse.

Le Problème : La méthode « Rapide » perd les « bonnes choses » parce qu'elle jette les notes détaillées qu'elle a prises en lisant, ne gardant que le résumé final.

La Solution : MINER

L'article présente MINER (Mining Multimodal Internal Representation for Efficient Retrieval). Considérez MINER comme un plugin intelligent de « surlignage » et de « résumé » que vous pouvez attacher au bibliothécaire « Rapide » sans modifier son fonctionnement.

Voici comment MINER fonctionne, en utilisant des analogies simples :

1. Le travail d'enquête « Couche par Couche »

Les modèles d'apprentissage profond (les « cerveaux » derrière ces bibliothécaires) traitent l'information par couches, comme une chaîne de montage.

Les premières couches sont comme les ingrédients bruts : elles voient des formes et des couleurs mais n'ont pas encore donné de sens à ces éléments.
Les couches intermédiaires commencent à mélanger les choses.
La couche finale est le plat terminé (la phrase résumée unique).

Les auteurs ont découvert que le bibliothécaire « Rapide » jetait les ingrédients délicieux et utiles des couches intermédiaires juste pour atteindre le plat final. MINER creuse au milieu de la chaîne de montage pour sauver ces ingrédients perdus.

2. Étape Un : La « Sonde Intelligente » (Trouver les bons éléments)

MINER attache un petit capteur léger (une sonde) à différentes couches de la chaîne de montage.

Il demande : « Cette couche est-elle réellement utile pour trouver le bon document ? »
Il utilise un test spécial (appelé Ratio d'Alignement) pour voir si l'information dans cette couche pointe déjà dans la bonne direction ou si elle est tordue et a besoin d'être redressée.
L'Analogie : Imaginez vérifier une équipe de travailleurs. Certains sont déjà orientés dans la bonne direction (ils ont juste besoin d'une petite pichenette). D'autres font face à la mauvaise direction et doivent être tournés avant de pouvoir aider. MINER traite ces deux groupes différemment.

3. Étape Deux : La « Fusion Sélective » (Mélanger le meilleur)

Une fois que MINER sait quelles couches sont utiles, il ne se contente pas de tout jeter dans le résumé final. Ce serait trop désordonné.

Masquage des Neurones : Il agit comme un éditeur strict. Il examine l'information utile et dit : « Gardez les 20 % supérieurs des neurones les plus importants (les faits clés) et ignorez le reste. » Cela maintient la taille du fichier petite.
Fusion : Il prend ces éléments sélectionnés et de haute qualité des couches intermédiaires et les intègre dans la phrase résumée finale.

Le Résultat : Le Meilleur des Deux Mondes

En utilisant MINER, le bibliothécaire « Rapide » obtient la vitesse et le faible coût de stockage du résumé en une seule phrase, mais avec la précision des notes détaillées.

Vitesse et Stockage : Il reste aussi rapide et compact que la méthode « Rapide » originale. Il n'a pas besoin d'un entrepôt de notes.
Précision : Il améliore considérablement la qualité des résultats de recherche. Dans les tests de l'article, il a comblé l'écart entre la méthode « Rapide » et la méthode « Détaillée mais Lourde », obtenant une précision presque égale à celle de la méthode lourde, mais sans le coût élevé.

En Résumé

MINER est un outil léger qui enseigne à une IA rapide et efficace de se souvenir des détails utiles qu'elle a presque oubliés lors du traitement d'un document. Il trouve le « juste milieu » entre être trop lent (tout stocker) et trop rapide (tout oublier), vous offrant un moteur de recherche à la fois rapide et intelligent.

Résumé technique : MINER - Extraction de représentations internes multimodales pour une recherche efficace

Énoncé du problème

La recherche de documents visuels (VDR) vise à récupérer des pages pertinentes à partir de documents visuellement riches (par exemple, diapositives, rapports, affiches) directement à partir de leurs images rendues, en contournant les pipelines fragiles de reconnaissance optique de caractères (OCR) et de découpage. Les approches actuelles font face à un compromis fondamental entre la qualité de la recherche et l'efficacité :

Récupérateurs à interaction tardive (par exemple, ColPali) : Ces méthodes représentent les requêtes et les documents comme des ensembles d'embeddings au niveau des tokens, permettant un appariement fin. Bien qu'elles atteignent une haute qualité de recherche, elles entraînent des empreintes d'index massives (des centaines à des milliers de vecteurs par page) et des coûts de service élevés.
Récupérateurs denses à vecteur unique : Ils compressent l'intégralité d'un document en un seul embedding de la dernière couche, offrant des index compacts et une faible latence. Cependant, ils accusent systématiquement un retard en termes de qualité, car la compression en un seul vecteur crée un goulot d'étranglement informationnel, éliminant les signaux pertinents pour la recherche présents dans les couches intermédiaires du réseau.

Des études récentes en traitement du langage naturel (NLP) et en vision suggèrent que les représentations internes des réseaux profonds contiennent souvent des informations plus riches et pertinentes pour la tâche que les seules sorties finales. Cela soulève la question suivante : peut-on exploiter les représentations internes des récupérateurs à vecteur unique pour récupérer les signaux de recherche perdus sans sacrifier l'efficacité du paradigme du vecteur unique ?

Méthodologie : MINER

Les auteurs proposent MINER (Mining Multimodal Internal RepreseNtation for Efficient Retrieval), un module plug-in léger conçu pour extraire et fusionner des signaux pertinents pour la recherche à partir des couches internes des transformateurs. MINER fonctionne sans modifier le modèle de base, préservant ainsi l'efficacité de stockage et de service de la recherche dense. Il se compose de deux étapes principales :

1. Diagnostic et analyse par couche

Avant de concevoir le module, les auteurs ont mené une analyse systématique des récupérateurs à vecteur unique (Jina, Eager, MoCa) en utilisant deux métriques :

Alignement du noyau centré normalisé (CKA) : Mesure la similarité structurelle entre l'espace de représentation d'une couche et l'espace final de recherche multimodale. Cela permet d'identifier un ensemble de couches candidates ( $S_{cand}$ ) qui sont structurellement suffisamment proches de l'espace final pour être accessibles à une extraction légère.
Ratio d'alignement (AR) : Défini comme le rapport entre la similarité cosinus au niveau de l'échantillon et le score CKA. Cela distingue les couches qui sont simplement structurellement similaires de celles qui sont directement alignées avec l'espace final.
- Résultat : L'analyse a révélé deux régimes distincts au sein des couches candidates. Les premières couches présentent un AR faible (structurellement similaires mais mal alignées), tandis que les dernières couches présentent un AR élevé (directement alignées). Cette découverte motive des stratégies d'extraction différenciées pour différentes couches.

2. L'architecture MINER

MINER fonctionne en deux étapes :

Étape 1 : Sondage des couches alignées sur la recherche
Une sonde légère est attachée à chaque couche de l'ensemble candidat $S_{cand}$ . La paramétrisation de la sonde est déterminée par le régime d'alignement de la couche :

Sonde de base (pour les couches à AR élevé) : Applique une repondération élément par élément ( $p_l \odot x$ ) pour préserver le système de coordonnées d'origine.
Sonde de projection normalisée (pour les couches à AR faible) : Applique une repondération élément par élément suivie d'une projection linéaire normalisée par ligne ( $\tilde{W}_l(p_l \odot x)$ ) pour réaligner le sous-espace mal aligné vers l'espace d'ancrage sans redimensionnement.
Entraînement : Toutes les sondes sont entraînées à l'aide d'un objectif siamois multimodal (perte InfoNCE) pour aligner les lectures de texte/visuel sondées avec leurs ancres de la dernière couche multimodale correspondantes.

Étape 2 : Fusion adaptative sparse multi-couche
Les signaux sondés sont agrégés en un seul embedding dense :

Masquage au niveau des neurones adaptatif aux performances : Un ratio de rétention spécifique à la couche ( $P_l$ ) est calculé en fonction des performances de validation autonome (nDCG@5) de chaque couche. Un masque binaire dur ne conserve que les $P_l$ premiers neurones (basés sur le vecteur d'importance appris $p_l$ ) pour chaque couche, supprimant les dimensions non pertinentes.
Fusion inter-couches : Les signaux masqués de toutes les couches sélectionnées sont combinés via une somme pondérée apprise avec un biais global :
$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$
où $h^{(l)}$ est la lecture traitée (soit masquée directement, soit masquée après projection).

Contributions clés

Insight diagnostique : Les auteurs révèlent que les signaux pertinents pour la recherche dans les récupérateurs à vecteur unique sont inégalement répartis à travers les couches du transformateur et nécessitent des stratégies d'extraction qualitativement différentes (repondération simple vs projection) basées sur un diagnostic de ratio d'alignement.
Module MINER : Une architecture plug-in comprenant un sondage de couches alignées sur la recherche et une fusion adaptative sparse multi-couche. Elle améliore la qualité de la recherche sans modifier le modèle de base ni augmenter les coûts de stockage ou de service.
Performances empiriques : MINER surpasse systématiquement les récupérateurs denses à vecteur unique existants sur plusieurs modèles de base et la suite de benchmarks ViDoRe.

Résultats expérimentaux

Les expériences ont été menées sur les benchmarks ViDoRe V1, V2 et V3 en utilisant Jina-Embeddings-v4, Eager-Embed-v1 et MoCa-3B comme modèles de base.

Qualité de la recherche : MINER a atteint une amélioration allant jusqu'à 4,5 % du nDCG@5 par rapport à son modèle de base dense correspondant (par exemple, MINER-Eager est passé de 56,0 à 58,5 sur ViDoRe V2). Dans plusieurs configurations, il a considérablement réduit l'écart de performance par rapport aux bases de référence fortes à interaction tardive (réduisant l'écart à 0,2 nDCG@5 dans certains cas).
Efficacité :
- Stockage : MINER conserve exactement la même empreinte de stockage que la base dense (index à vecteur unique), qui est 42,4 fois plus petite que les méthodes à interaction tardive.
- Latence : MINER n'entraîne qu'une surcharge de latence de requête de 1,07 fois par rapport à la base dense, tout en restant 5,3 fois plus rapide que les méthodes à interaction tardive.
Études d'ablation : La suppression de la partition par ratio d'alignement (n'utilisant que des sondes de base ou uniquement des sondes normalisées) ou la suppression du masquage sparse a entraîné une baisse de performance, confirmant que le sondage différencié et le masquage adaptatif sont des composants nécessaires.
Robustesse : La méthode est robuste aux principaux hyperparamètres, spécifiquement le seuil CKA pour la sélection des couches et le plancher de sparsité pour le masquage.

Importance et affirmations

L'article affirme que MINER comble avec succès le fossé entre la haute qualité de la recherche à interaction tardive et la haute efficacité de la recherche dense à vecteur unique. En exploitant les représentations internes, MINER récupère les informations perdues dans le goulot d'étranglement de la dernière couche sans les pénalités de stockage et de latence associées aux approches multi-vecteurs.

Les auteurs positionnent MINER comme une solution pratique pour les systèmes de recherche de documents visuels qui nécessitent à la fois une haute précision et de faibles coûts opérationnels. Ils notent que la méthode est actuellement évaluée sur des modèles où les états cachés internes et les données d'entraînement sont accessibles, servant d'amélioration légère aux pipelines de recherche dense existants plutôt que de remplacer l'architecture du modèle de base elle-même.