🤖 machine learning

MINER: Mining Multimodal Internal Representation for Efficient Retrieval

MINER ist ein leichtgewichtiges Plug-in-Modul, das die effiziente multimodale Suche mit einzelnen Vektoren verbessert, indem es retrieval-relevante interne Signale über Transformer-Schichten hinweg untersucht und adaptiv fusioniert, wodurch eine überlegene Genauigkeit erreicht wird, die mit schweren Late-Interaction-Modellen vergleichbar ist, während gleichzeitig niedrige Speicher- und Latenzkosten beibehalten werden.

Ursprüngliche Autoren: Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine spezifische Tatsache in einer riesigen Bibliothek bunter, komplexer Dokumente zu finden – wie eine Mischung aus Diagrammen, Fotos und Text auf einer einzigen Seite. Dies ist die Herausforderung der visuellen Dokumentenrückgewinnung.

Derzeit gibt es zwei Hauptmethoden, mit denen Computer versuchen, dieses Problem zu lösen, und beide haben einen gravierenden Mangel:

Die „detaillierte, aber schwere" Methode (Late-Interaction): Stellen Sie sich einen Bibliothekar vor, der jedes einzelne Wort liest und jedes winzige Detail eines Fotos betrachtet, wobei er für jede Seite Tausende von Notizen anfertigt. Dies ist unglaublich genau, da nichts übersehen wird, aber es ist langsam und erfordert einen massiven Speicherplatz (wie die Notwendigkeit eines Lagerhauses nur zur Aufbewahrung der Notizen).
Die „schnelle, aber oberflächliche" Methode (Dense Single-Vector): Stellen Sie sich einen anderen Bibliothekar vor, der einen schnellen Blick auf die gesamte Seite wirft und nur einen zusammenfassenden Satz aufschreibt, um das gesamte Dokument zu repräsentieren. Dies ist superschnell und benötigt sehr wenig Platz, aber da alles auf einen Satz komprimiert werden musste, gehen oft die wichtigen Details verloren, die benötigt werden, um die richtige Antwort zu finden.

Das Problem: Die „schnelle" Methode verliert das „Gute", weil sie die detaillierten Notizen, die sie beim Lesen angefertigt hat, verwirft und nur die endgültige Zusammenfassung behält.

Die Lösung: MINER

Die Arbeit stellt MINER (Mining Multimodal Internal Representation for Efficient Retrieval) vor. Denken Sie an MINER als ein intelligentes „Markierstift"- und „Zusammenfassungs"-Plugin, das Sie an den „schnellen" Bibliothekar anhängen können, ohne zu ändern, wie dieser arbeitet.

Hier ist, wie MINER funktioniert, unter Verwendung einfacher Analogien:

1. Die „Schicht-für-Schicht"-Detektivarbeit

Deep-Learning-Modelle (die „Gehirne" hinter diesen Bibliothekaren) verarbeiten Informationen in Schichten, wie ein Fließband.

Frühe Schichten sind wie die rohen Zutaten: Sie sehen Formen und Farben, haben sie aber noch nicht verstanden.
Mittlere Schichten beginnen, Dinge zu mischen.
Die letzte Schicht ist das fertige Gericht (der einzelne zusammenfassende Satz).

Die Autoren entdeckten, dass der „schnelle" Bibliothekar die köstlichen, nützlichen Zutaten aus den mittleren Schichten wegwirft, nur um zum fertigen Gericht zu gelangen. MINER gräbt in die Mitte des Fließbands, um diese verlorenen Zutaten zu retten.

2. Stufe Eins: Die „intelligente Sonde" (Finden der guten Teile)

MINER fügt einen kleinen, leichten Sensor (eine Sonde) an verschiedenen Schichten des Fließbands an.

Es fragt: „Ist diese Schicht tatsächlich hilfreich, um das richtige Dokument zu finden?"
Es verwendet einen speziellen Test (genannt Alignment Ratio), um zu sehen, ob die Informationen in dieser Schicht bereits in die richtige Richtung zeigen oder ob sie verdreht sind und geradegerückt werden müssen.
Die Analogie: Stellen Sie sich vor, Sie überprüfen ein Team von Arbeitern. Einige schauen bereits in die richtige Richtung (sie brauchen nur einen kleinen Stoß). Andere schauen in die falsche Richtung und müssen gedreht werden, bevor sie helfen können. MINER behandelt diese beiden Gruppen unterschiedlich.

3. Stufe Zwei: Die „selektive Fusion" (Mischen des Besten)

Sobald MINER weiß, welche Schichten nützlich sind, wirft es nicht einfach alles in die endgültige Zusammenfassung. Das wäre zu unübersichtlich.

Neuronen-Maskierung: Es wirkt wie ein strenger Redakteur. Es betrachtet die nützlichen Informationen und sagt: „Behalte die Top 20 % der wichtigsten Neuronen (die Schlüsselfakten) und ignoriere den Rest." Dies hält die Dateigröße klein.
Fusion: Es nimmt diese ausgewählten, hochwertigen Teile aus den mittleren Schichten und mischt sie in den endgültigen zusammenfassenden Satz.

Das Ergebnis: Das Beste aus beiden Welten

Durch die Verwendung von MINER erhält der „schnelle" Bibliothekar die Geschwindigkeit und die geringen Speicherkosten der einzeiligen Zusammenfassung, aber mit der Genauigkeit der detaillierten Notizen.

Geschwindigkeit & Speicher: Es bleibt genauso schnell und kompakt wie die ursprüngliche „schnelle" Methode. Es benötigt kein Lagerhaus voller Notizen.
Genauigkeit: Es verbessert die Qualität der Suchergebnisse erheblich. In den Tests der Arbeit schloss es die Lücke zwischen der „schnellen" Methode und der „detaillierten, aber schweren" Methode und wurde fast so genau wie die schwere Methode, jedoch ohne die hohen Kosten.

Auf den Punkt gebracht

MINER ist ein leichtgewichtiges Werkzeug, das einem schnellen, effizienten KI-System beibringt, die nützlichen Details zu behalten, die es fast vergessen hätte, während es ein Dokument verarbeitet. Es findet den „Sweet Spot" zwischen zu langsam (alles speichern) und zu schnell (alles vergessen) und bietet Ihnen eine Suchmaschine, die sowohl schnell als auch intelligent ist.

Technische Zusammenfassung: MINER – Mining Multimodal Internal Representation for Efficient Retrieval

Problemstellung

Die visuelle Dokumentenretrieval (VDR) zielt darauf ab, relevante Seiten aus visuell reichen Dokumenten (z. B. Folien, Berichte, Poster) direkt aus ihren gerenderten Bildern zu extrahieren und dabei fragile OCR- und Chunking-Pipelines zu umgehen. Aktuelle Ansätze stehen vor einem grundlegenden Zielkonflikt zwischen Retrievalqualität und Effizienz:

Late-Interaction-Retriever (z. B. ColPali): Diese Methoden repräsentieren Abfragen und Dokumente als Mengen von Token-Level-Embeddings, was eine feingranulare Übereinstimmung ermöglicht. Obwohl sie eine hohe Retrievalqualität erreichen, verursachen sie massive Index-Fußabdrücke (hunderte bis tausende Vektoren pro Seite) und hohe Serving-Kosten.
Dichte Single-Vector-Retriever: Diese komprimieren ein gesamtes Dokument in ein einziges Embedding der letzten Schicht, was kompakte Indizes und niedrige Latenzzeiten bietet. Allerdings bleiben sie in der Qualität konsistent hinterher, da die Komprimierung in einen einzigen Vektor einen Informationsengpass erzeugt und für das Retrieval relevante Signale aus den mittleren Netzwerkschichten verwirft.

Neuere Studien im Bereich NLP und Computer Vision deuten darauf hin, dass interne Repräsentationen tiefer Netzwerke oft reichhaltigere aufgabenrelevante Informationen enthalten als die finalen Ausgaben allein. Dies wirft die Frage auf: Können die internen Repräsentationen von Single-Vector-Retrieveern genutzt werden, um verlorene Retrievalsignale wiederzugewinnen, ohne die Effizienz des Single-Vector-Paradigmas zu beeinträchtigen?

Methodik: MINER

Die Autoren schlagen MINER (Mining Multimodal Internal RepreseNtation for Efficient Retrieval) vor, ein leichtgewichtiges Plug-in-Modul, das entwickelt wurde, um für das Retrieval relevante Signale aus internen Transformer-Schichten zu extrahieren und zu fusionieren. MINER arbeitet ohne Modifikation des Backbone-Modells und erhält somit die Speicher- und Serving-Effizienz des dichten Retrievals. Es besteht aus zwei Hauptphasen:

1. Schichtenweise Diagnostik und Analyse

Bevor das Modul entworfen wurde, führten die Autoren eine systematische Analyse von Single-Vector-Retrieveern (Jina, Eager, MoCa) unter Verwendung zweier Metriken durch:

Normalized Centered Kernel Alignment (CKA): Misst die strukturelle Ähnlichkeit zwischen dem Repräsentationsraum einer Schicht und dem finalen cross-modalen Retrievalraum. Dies identifiziert eine Kandidatensammlung von Schichten ( $S_{cand}$ ), die dem finalen Raum strukturell nahe genug sind, um eine leichte Extraktion zu ermöglichen.
Alignment Ratio (AR): Definiert als das Verhältnis der Cosinus-Ähnlichkeit auf Ebene der Stichproben zum CKA-Wert. Dies unterscheidet zwischen Schichten, die lediglich strukturell ähnlich sind, und solchen, die direkt mit dem finalen Raum koordiniert sind.
- Ergebnis: Die Analyse offenbarte zwei unterschiedliche Regime innerhalb der Kandidatenschichten. Frühere Schichten weisen eine niedrige AR auf (strukturell ähnlich, aber nicht ausgerichtet), während die letzten wenigen Schichten eine hohe AR aufweisen (direkt ausgerichtet). Diese Erkenntnis motiviert differenzierte Extraktionsstrategien für verschiedene Schichten.

2. Die MINER-Architektur

MINER arbeitet in zwei Phasen:

Phase 1: Retrieval-Ausgerichtete Schichtuntersuchung (Layer Probing)
Ein leichter Prober wird an jede Schicht in der Kandidatensammlung $S_{cand}$ angehängt. Die Parametrisierung des Probers wird durch das Ausrichtungsregime der Schicht bestimmt:

Basis-Prober (für Schichten mit hoher AR): Wendet eine gewichtete Neugewichtung auf Elementebene ( $p_l \odot x$ ) an, um das ursprüngliche Koordinatensystem zu erhalten.
Normalisierter Projektions-Prober (für Schichten mit niedriger AR): Wendet eine gewichtete Neugewichtung auf Elementebene gefolgt von einer zeilen-normalisierten linearen Projektion ( $\tilde{W}_l(p_l \odot x)$ ) an, um den nicht ausgerichteten Teilraum neu am Anker-Raum auszurichten, ohne eine Neuskalierung vorzunehmen.
Training: Alle Prober werden mit einem cross-modalen siamesischen Ziel (InfoNCE-Verlust) trainiert, um die untersuchten Text-/Bild-Auslesungen mit ihren cross-modalen Ankerpunkten der letzten Schicht auszurichten.

Phase 2: Adaptive Sparse Multi-Layer Fusion
Die untersuchten Signale werden zu einem einzigen dichten Embedding aggregiert:

Leistungsadaptive Neuron-Level-Maskierung: Ein schichtspezifischer Beibehaltungsanteil ( $P_l$ ) wird basierend auf der eigenständigen Validierungsleistung (nDCG@5) jeder Schicht berechnet. Eine harte binäre Maske behält für jede Schicht nur die Top- $P_l$ Neuronen (basierend auf dem gelernten Wichtigkeitsvektor $p_l$ ) bei und unterdrückt irrelevante Dimensionen.
Cross-Layer-Fusion: Die maskierten Signale aller ausgewählten Schichten werden über eine gelernte gewichtete Summe mit einem globalen Bias kombiniert:
$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$
wobei $h^{(l)}$ die verarbeitete Auslesung ist (entweder direkt maskiert oder nach der Projektion maskiert).

Hauptbeiträge

Diagnostische Erkenntnis: Die Autoren zeigen auf, dass für das Retrieval relevante Signale in Single-Vector-Retrieveern ungleichmäßig über die Transformer-Schichten verteilt sind und qualitativ unterschiedliche Extraktionsstrategien (einfache Neugewichtung vs. Projektion) erfordern, basierend auf einer Diagnostik des Ausrichtungsverhältnisses.
MINER-Modul: Eine Plug-in-Architektur, bestehend aus Retrieval-Ausgerichteter Schichtuntersuchung und Adaptiver Sparse Multi-Layer Fusion. Sie verbessert die Retrievalqualität, ohne das Backbone zu modifizieren oder Speicher-/Serving-Kosten zu erhöhen.
Empirische Leistung: MINER übertrifft konsistent bestehende dichte Single-Vector-Retriever über mehrere Backbones hinweg und auf dem ViDoRe-Benchmark-Suite.

Experimentelle Ergebnisse

Experimente wurden auf den Benchmarks ViDoRe V1, V2 und V3 durchgeführt, wobei Jina-Embeddings-v4, Eager-Embed-v1 und MoCa-3B als Backbones verwendet wurden.

Retrievalqualität: MINER erreichte eine Verbesserung von bis zu 4,5 % in nDCG@5 gegenüber dem entsprechenden dichten Backbone (z. B. verbesserte sich MINER-Eager auf ViDoRe V2 von 56,0 auf 58,5). In mehreren Settings verringerte es die Leistungslücke zu starken Late-Interaction-Baselines erheblich (in einigen Fällen Reduzierung der Lücke auf 0,2 nDCG@5).
Effizienz:
- Speicher: MINER behält den exakt gleichen Speicherfußabdruck wie die dichte Baseline (Single-Vector-Index) bei, was 42,4-mal kleiner ist als bei Late-Interaction-Methoden.
- Latenz: MINER verursacht nur einen 1,07-fachen Overhead bei der Abfragelatenz im Vergleich zur dichten Baseline, bleibt jedoch 5,3-mal schneller als Late-Interaction-Methoden.
Ablationsstudien: Das Entfernen der Aufteilung nach Ausrichtungsverhältnis (Nur Basis- oder nur Norm-Prober verwenden) oder das Entfernen der spärlichen Maskierung führte zu einer geringeren Leistung, was bestätigt, dass sowohl die differenzierte Untersuchung als auch die adaptive Maskierung notwendige Komponenten sind.
Robustheit: Die Methode ist robust gegenüber wichtigen Hyperparametern, insbesondere dem CKA-Abschneidewert für die Schichtauswahl und der Sparsamkeitsuntergrenze für die Maskierung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MINER erfolgreich die Lücke zwischen der hohen Qualität des Late-Interaction-Retrievals und der hohen Effizienz des dichten Single-Vector-Retrievals schließt. Durch das Mining interner Repräsentationen gewinnt MINER Informationen zurück, die dem Engpass der letzten Schicht verloren gegangen sind, ohne die Speicher- und Latenzstrafen, die mit Multi-Vector-Ansätzen verbunden sind.

Die Autoren positionieren MINER als praktische Lösung für Systeme zur visuellen Dokumentenretrieval, die sowohl hohe Genauigkeit als auch niedrige Betriebskosten erfordern. Sie weisen darauf hin, dass die Methode derzeit an Modellen evaluiert wird, bei denen interne versteckte Zustände und Trainingsdaten zugänglich sind, und dient als leichte Erweiterung bestehender dichter Retrievalpipelines, anstatt die Backbone-Architektur selbst zu ersetzen.