💬 NLP

READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling

Dieser Beitrag stellt READ vor, ein parameter-effizientes Transfer-Learning-Framework, das einen neuartigen rekurrenten Adapter für die zeitliche Modellierung mit einem teilweisen Video-Sprache-Ausrichtungsziel kombiniert, um bei ressourcenarmen Video-Sprache-Aufgaben bestehende Feinabstimmungsstrategien deutlich zu übertreffen.

Ursprüngliche Autoren: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich intelligente Bibliothek von Büchern (ein vortrainiertes KI-Modell), die fast alles über die Welt weiß. Diese Bibliothek ist jedoch so massiv, dass sie ein ganzes Lagerhaus einnimmt, und jedes Mal, wenn Sie ihr eine neue, spezifische Fähigkeit beibringen möchten – etwa das Zusammenfassen eines Kochvideos oder das Finden des genauen Moments, in dem ein Antrag in einem Clip gestellt wird –, müssen Sie normalerweise die gesamte Bibliothek neu schreiben. Dies ist teuer, langsam und erfordert viel Speicherplatz.

Die Arbeit stellt eine clevere, leichte Lösung namens READ (Recurrent Adapter) in Kombination mit einer neuen Methode zur Qualitätskontrolle namens PVLA vor. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „schwere" Bibliothek

Aktuelle Methoden versuchen, der KI neue Fähigkeiten beizubringen, indem sie die gesamte massive Bibliothek neu trainieren.

Das Problem: Wenn Sie nur eine kleine Datenmenge haben (ein „low-resource"-Szenario), führt der Versuch, die gesamte Bibliothek neu zu schreiben, oft dazu, dass die KI verwirrt oder instabil wird. Außerdem benötigen Sie am Ende für jede einzelne neue Fähigkeit, die Sie ihr beibringen, ein separates, massives Lagerhaus.

2. Die Lösung: Das „Zettel"-System (Adapters)

Anstatt die gesamte Bibliothek neu zu schreiben, schlagen die Autoren vor, winzige „Zettel" (sogenannte Adapters) zu den bestehenden Büchern hinzuzufügen.

Wie es funktioniert: Sie frieren die ursprüngliche Bibliothek ein (damit sie perfekt bleibt) und trainieren nur diese winzigen Zettel. Dies spart enorme Mengen an Platz und Geld.
Der Mangel alter Zettel: Frühere „Zettel" waren zu einfach. Sie betrachteten Videobilder und Wörter als isolierte Einheiten, wie das Betrachten eines einzelnen Fotos eines Mädchens und eines einzelnen Wortes „Antrag", ohne die Geschichte zu verstehen, die sie verbindet. Sie übersahen den Zeitverlauf.

3. Die Innovation: Der „zeitreisende" Zettel (READ)

Die Autoren entwickelten eine neue Art von Zettel namens READ (Recurrent Adapter).

Die Analogie: Stellen Sie sich vor, ein normaler Zettel ist ein Standbild. Ein READ-Zettel ist wie eine Klappbuch-Animation.
Was es tut: Es betrachtet nicht nur ein einzelnes Bild oder ein einzelnes Wort; es betrachtet die Sequenz. Es versteht, dass der Gesichtsausdruck des Mädchens nach dem Antrag anders ist als vor dem Antrag. Es erfasst den Fluss der Zeit und ermöglicht es der KI, den Zeitverlauf der Geschichte zu verstehen, ohne die gesamte Bibliothek neu trainieren zu müssen.

4. Die Qualitätskontrolle: Das „Teilweise-Übereinstimmung"-Spiel (PVLA)

Wenn die KI mit begrenzten Daten trainiert wird, besteht die Gefahr, dass die „Zettel" durch Rauschen oder irrelevante Informationen verwirrt werden.

Das Problem: Ein Video könnte eine ganze Szene zeigen (eine Küche, ein Fahrrad, eine Person), aber der Text spricht vielleicht nur über einen bestimmten Teil (das Anziehen einer Schraube). Alte Methoden versuchten, eine perfekte 1-zu-1-Übereinstimmung zwischen jedem Wort und jedem Videobild zu erzwingen, was unmöglich und verwirrend ist.
Die Lösung (PVLA): Die Autoren führten Partial Video-Language Alignment (PVLA) ein.
Die Analogie: Stellen Sie es sich wie eine Dating-App für Daten vor. Anstatt zu versuchen, dass jede einzelne Person in einer Menge einen perfekten Partner findet, sagt der Algorithmus: „Lassen Sie uns einfach die besten Übereinstimmungen für die Personen finden, die sich tatsächlich füreinander interessieren."
Wie es funktioniert: Es verwendet einen mathematischen Trick namens „Partial Optimal Transport", um nur die wichtigen Teile des Videos mit den relevanten Teilen des Textes auszurichten. Es ignoriert das Rauschen und konzentriert sich auf die kritischen Verbindungen, wodurch sichergestellt wird, dass die „Zettel" auch dann die richtigen Dinge lernen, wenn nicht viel Datenmaterial zum Lernen vorhanden ist.

5. Die Ergebnisse: Kleine Größe, große Erfolge

Die Autoren testeten dieses System an zwei Hauptaufgaben:

Den Moment finden (Temporal Language Grounding): Wie das Finden der exakten Sekunde in einem Video, in der „das Mädchen nach dem Antrag lächelt".
Die Geschichte zusammenfassen (Video-Language Summarization): Wie das Anschauen eines Videos und das Schreiben einer kurzen Zusammenfassung dessen, was passiert ist.

Das Ergebnis:

Effizienz: Ihre Methode musste nur etwa 1,2 % der Parameter (die „Zettel") im Vergleich zur gesamten Bibliothek trainieren.
Leistung: Trotz des geringen Trainingsaufwands schnitt ihre Methode tatsächlich besser ab als die massiven, vollständig neu trainierten Bibliotheken und andere bestehende „leichte" Methoden.
Vielseitigkeit: Sie funktionierte gut bei verschiedenen Arten von Videomodellen und verschiedenen Datensätzen.

Zusammenfassung

Die Arbeit schlägt eine Methode vor, um riesigen KI-Modellen neue Videofähigkeiten beizubringen, ohne die Bank zu sprengen oder den Speicherplatz zu überlasten. Dies erreichen sie, indem sie winzige, zeitsensitive „Zettel" (READ) hinzufügen, die den Fluss einer Geschichte verstehen, und ein intelligentes „Übereinstimmungsspiel" (PVLA) verwenden, das sich nur auf die wichtigen Verbindungen zwischen dem Gesehenen und dem Gesagten konzentriert. Das Ergebnis ist ein System, das kostengünstig zu betreiben, einfach zu speichern und überraschend genau ist.

Technische Zusammenfassung: READ-PVLA für parameter-effiziente Video-Sprach-Modellierung

Problemstellung

Das vollständige Fine-Tuning großskaliger vortrainierter Transformer-Modelle für Video-Sprach-Aufgaben (wie Temporales Sprach-Grounding und Video-Sprach-Zusammenfassung) stellt erhebliche Herausforderungen dar, insbesondere in ressourcenarmen Umgebungen. Dieser Ansatz verursacht hohe Speicherkosten aufgrund der Notwendigkeit, ein separates Modell für jede Aufgabe zu speichern, und führt häufig zu instabilem Training sowie suboptimaler Leistung, wenn die Trainingsdaten begrenzt sind.

Während bestehende parameter-effiziente Methoden, wie Standard-Adapter, leichte Module einführen, um den vortrainierten Backbone zu frieren und nur die Adapter zu trainieren, weisen sie zwei kritische Einschränkungen auf:

Fehlende zeitliche Modellierung: Standard-Adapter behandeln Videobilder und sprachliche Wörter als unabhängige Tokens und erfassen dabei keine intrinsischen zeitlichen Abhängigkeiten zwischen Bildern oder sequenziellen Wörtern. Dies behindert die Fähigkeit des Modells, über zeitlichen Kontext zu reasoning (z. B. das Unterscheiden von Ereignissen vor oder nach einer bestimmten Aktion).
Informationsverlust: Bestehende Adapter vernachlässigen oft die Bewahrung kritischer aufgabenbezogener Informationen, während diese von den Rohdaten in den niedrigdimensionalen Raum des Adapters fließen. Dies kann zum Verlust wesentlicher semantischer Informationen und zur Einführung von Rauschen während des Fine-Tuning-Prozesses führen.

Methodik

Die Autoren schlagen das READ-PVLA-Rahmenwerk vor, das diese Probleme durch zwei neuartige Komponenten löst, die in eine parameter-effiziente Fine-Tuning-Strategie integriert sind.

1. Recurrent Adapter (READ)

Um zeitliche Abhängigkeiten zu erfassen, führen die Autoren einen Recurrent Adapter (READ) ein. Im Gegensatz zu Standard-Adaptern, die sich ausschließlich auf nichtlineare Projektionen verlassen, integriert READ eine rekurrente Engpassschicht innerhalb der Transformer-Architektur.

Architektur: Das Modul besteht aus einer Down-Projektionsschicht, einer Schicht für Rekurrente Neuronale Netze (RNN) und einer Up-Projektionsschicht.
Operation: Gegeben die Ausgabe $O$ aus einem FeedForward-Block berechnet das READ-Modul ein residuales Update: $\tilde{O} = O + \text{GELU}(\text{RNN}(O \cdot W_{down})) \cdot W_{up}$ .
Effizienz: Durch die Durchführung rekurrenter Berechnungen in einem niedrigdimensionalen Raum (wobei die Engpassdimension $k \ll d$ ist), behält READ ein leichtgewichtiges Design bei und erfordert nur bis zu 1,20 % der trainierbaren Parameter.
Flexibilität: Das Rahmenwerk ist so konzipiert, dass es mit verschiedenen vortrainierten Backbones kompatibel ist, einschließlich Unified Multimodal Transformers (UMT), Moment-DETR und generativer visuell gesteuerter Modelle wie VG-BART und VG-T5.

2. Partial Video-Language Alignment (PVLA)

Um sicherzustellen, dass kritische Informationen während des Anpassungsprozesses bewahrt werden, schlagen die Autoren ein Partial Video-Language Alignment (PVLA)-Ziel vor.

Konzept: PVLA fördert explizit die Ausrichtung zwischen Repräsentationen von Videobildern und Repräsentationen sprachlicher Wörter, indem der Abstand der Partiellen Optimalen Transport (POT) zwischen ihren Verteilungen minimiert wird.
Begründung: Video und Sprache zeigen keine vollständige Eins-zu-Eins-Korrespondenz; Sprache beschreibt oft nur spezifische Aspekte eines Videos. Der Standard-Optimal-Transport würde eine Übereinstimmung zwischen allen Massen erzwingen und potenziell irrelevante Informationen ausrichten.
Mechanismus: PVLA ermöglicht es dem Algorithmus, nur eine Teilmenge von Proben ( $s$ ) von einer Verteilung zur anderen zu transportieren und sich dabei auf die „essentiellen Massen" zu konzentrieren, die stark miteinander verbunden sind. Dies wird als Minimierung der Kosten $T_{i,j} \cdot c(h_{v,i}, h_{l,j})$ unter partiellen Transportbeschränkungen formuliert.
Training: Während des Fine-Tunings wird der vortrainierte Backbone eingefroren. Die READ-Schichten werden gemeinsam unter Verwendung des aufgabenspezifischen Verlusts und des PVLA-Verlusts optimiert.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

READ-Architektur: Ein neuartiges Adapter-Design, das rekurrente Berechnungen integriert, um zeitliche Informationen in Video-Sprach-Aufgaben effektiv zu modellieren und die Einschränkungen von token-unabhängigen Projektionen zu überwinden.
PVLA-Ziel: Ein neues Ausrichtungsziel unter Verwendung von Partiell Optimalem Transport, um den Fluss kritischer, aufgabenrelevanter Informationen zwischen den Modalitäten während des Engpass-Anpassungsprozesses aufrechtzuerhalten.
Empirische Validierung: Umfassende Experimente zeigen, dass das READ-Rahmenwerk sowohl das vollständige Fine-Tuning als auch andere parameter-effiziente Strategien (z. B. LoRA, Prompt, Standard-Adapter) auf ressourcenarmen Benchmarks übertrifft und dabei deutlich weniger trainierbare Parameter verwendet (so wenig wie 0,05 % bis 1,20 %).

Experimentelle Ergebnisse

Das Rahmenwerk wurde für Temporales Sprach-Grounding (TLG) und Video-Sprach-Zusammenfassung (VLS) über mehrere Datensätze hinweg evaluiert: YouTube Highlights, TVSum, QVHighlights und How2.

Temporales Sprach-Grounding (TLG):
- Auf YouTube Highlights erreichte READ eine mittlere Average Precision (mAP) von 76,12 % und übertraf damit das vollständige Fine-Tuning (74,76 %) und den Standard-Adapter (68,98 %), und zwar unter Verwendung von nur 0,16M trainierbaren Parametern (0,06 % des Gesamts).
- Auf TVSum erreichte READ 83,39 % mAP und übertraf damit das vollständige Fine-Tuning (79,65 %) und die beste parameter-effiziente Baseline (Adapter bei 74,25 %) mit nur 0,14M Parametern.
- Auf QVHighlights verbesserte READ die mAP auf 36,74 % gegenüber dem vollständigen Fine-Tuning (36,14 %) unter Verwendung von 0,19M Parametern.
Video-Sprach-Zusammenfassung (VLS):
- Unter Verwendung des VG-BART-Backbones auf dem How2-Datensatz erreichte READ ROUGE-1-, ROUGE-2- und ROUGE-L-Werte von 44,01, 21,91 und 37,91. Dies übertraf das vollständige Fine-Tuning (35,72, 11,88, 30,00) und andere effiziente Methoden deutlich, und zwar mit nur 1,17M Parametern (0,47 % des Modells).
- Ähnliche Gewinne wurden mit dem VG-T5-Backbone beobachtet, wo READ 40,12 ROUGE-1 erreichte und damit das vollständige Fine-Tuning (32,37) mit 1,91M Parametern übertraf.
Ablationsstudien:
- Das Entfernen des PVLA-Ziels führte zu einem dramatischen Leistungsabfall, was seine Rolle bei der Verhinderung von Informationsverlust und Rauscheinspeisung bestätigt.
- Die Wahl der rekurrenten Architektur (RNN vs. GRU vs. LSTM) hatte minimalen Einfluss auf die Leistung, was die Verwendung der einfachsten RNN-Implementierung validiert.
- Partieller Optimaler Transport (POT) übertraf Standard-Abstandsmetriken (Cosine, L2) und vollständigen Optimalen Transport und unterstreicht die Bedeutung der partiellen Ausrichtung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das READ-PVLA-Rahmenwerk eine robuste Lösung für den parameter-effizienten Transferlernen in der Video-Sprach-Modellierung bietet. Durch die Kombination rekurrenter zeitlicher Modellierung mit einem partiellen Ausrichtungsziel adressiert die Methode erfolgreich die Instabilität und den Informationsverlust, die mit ressourcenarmem Fine-Tuning verbunden sind.

Die Autoren betonen, dass ihr Ansatz:

Das vollständige Fine-Tuning übertrifft: Er erzielt eine höhere Genauigkeit als das Training aller Parameter, trotz des Einfrierens der überwiegenden Mehrheit des vortrainierten Modells.
Überlegene Effizienz: Er erfordert deutlich weniger trainierbare Parameter (bis zu 1,20 %) im Vergleich zu anderen effizienten Methoden wie LoRA oder Standard-Adaptern.
Generalisierbarkeit: Das Rahmenwerk ist auf diverse vortrainierte Architekturen anwendbar, einschließlich sowohl diskriminativer (UMT, Moment-DETR) als auch generativer Modelle (VG-BART, VG-T5).

Die Arbeit legt nahe, dass die Einbeziehung zeitlicher Dynamiken und die sorgfältige Verwaltung des Informationsflusses durch partielle Ausrichtung entscheidend für die Weiterentwicklung des Video-Sprach-Verständnisses in ressourcenbeschränkten Umgebungen sind.