💬 NLP

ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

Das Papier stellt ResAdapt vor, ein Eingabe-seitiges Anpassungsframework, das mittels eines kontextuellen Banditen und Cost-Aware Policy Optimization (CAPO) die visuelle Auflösung pro Bild adaptiv steuert, um Multimodal Large Language Models bei gleichbleibendem Budget effizienter zu machen und gleichzeitig die Genauigkeit bei langen Videos und komplexen推理-Aufgaben signifikant zu steigern.

Ursprüngliche Autoren: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr schlauen, aber hungrigen Freund: einen Multimodalen KI-Modell (MLLM). Dieser Freund ist extrem gut darin, Videos zu verstehen und Fragen dazu zu beantworten. Aber er hat ein großes Problem: Er hat einen riesigen Appetit auf Daten.

Wenn du ihm ein langes Video zeigst, versucht er, jeden einzelnen Pixel jedes einzelnen Bildes (jedes Frames) zu analysieren. Das ist wie wenn du ihm ein 30-minütiges Video zeigst und er sich jeden einzelnen Millimeter jedes Bildes genau ansieht, bevor er auch nur einen Gedanken fasst. Das macht ihn zwar sehr genau, aber es ist auch extrem langsam, teuer und rechenintensiv. Es ist, als würde man versuchen, ein ganzes Buch Wort für Wort zu lesen, um nur eine einzige Zeile zu finden.

Die Forscher haben sich gefragt: Muss er wirklich alles so genau ansehen?

Das Problem: Der "Alles-oder-Nichts"-Ansatz

Bisherige Lösungen waren wie ein ungeschickter Koch:

Der "Alles-zerquetschen"-Ansatz: Man nimmt das ganze Video und drückt es einfach zusammen (komprimiert es), bis es klein genug ist. Das Problem: Dabei gehen wichtige Details verloren, wie feine Schriftzüge oder winzige Bewegungen, die für die Antwort entscheidend sind.
Der "Hin und Her"-Ansatz: Man schaut erst grob hin, fragt sich dann: "Moment, da war was!", zoomt dann heran, schaut wieder weg, zoomt wieder heran. Das dauert ewig und ist ineffizient.

Die Lösung: ResAdapt – Der kluge Regisseur

Die neue Methode heißt ResAdapt. Stell dir ResAdapt nicht als einen Koch vor, sondern als einen klugen Filmregisseur, der das Video bevor es zum KI-Modell kommt, vorbereitet.

Der Regisseur hat eine spezielle Brille und eine Liste mit Fragen. Bevor er das Video an den KI-Freund weitergibt, schaut er sich das Video an und entscheidet für jeden einzelnen Moment:

"In dieser Szene passiert nichts Wichtiges? Dann zeig dem Freund nur ein kleines, unscharfes Bild davon." (Geringe Auflösung)
"Hier wird ein Text eingeblendet oder passiert etwas Entscheidendes? Dann zeig ihm das in voller HD!" (Hohe Auflösung)

Das ist wie bei einem Fotografen, der ein Panorama macht: Er macht von den langweiligen Wiesen nur kleine Schnappschüsse, aber von dem interessanten Sonnenuntergang macht er ein riesiges, hochauflösendes Foto.

Wie funktioniert das genau? (Die Analogie des Budgets)

Stell dir vor, du hast ein festes Budget an "Seh-Pixeln". Du kannst nicht das ganze Video in 4K zeigen, weil dir die Pixel ausgehen würden.

Der alte Weg: Du teilst das Budget gleichmäßig auf alle 100 Sekunden des Videos auf. Jede Sekunde bekommt ein bisschen Pixel, aber nichts davon ist wirklich scharf genug für Details.
Der ResAdapt-Weg: Der Regisseur (der "Allocator") weiß genau, wo die "Aha-Momente" sind. Er nimmt das Budget und wirft es gezielt auf diese Momente. Die langweiligen Teile bekommen fast gar nichts, aber die wichtigen Sekunden bekommen eine Explosion an Qualität.

Der Trick: Der "Kluge Assistent" (CAPO)

Wie lernt der Regisseur das? Er hat einen Assistenten (genannt CAPO), der mit ihm trainiert.

Wenn der Regisseur die wichtigen Teile gut erkannt hat und der Freund die Frage richtig beantwortet, gibt der Assistent ihm einen Bonus.
Wenn der Regisseur die wichtigen Teile übersehen hat oder zu viel Budget auf langweilige Teile verschwendet hat, gibt es eine Strafe.
Besonders clever: Der Assistent lernt dem Regisseur auch, dass er nicht jedes Bild in der Nähe eines wichtigen Moments hochauflösend zeigen muss. Wenn zwei Bilder fast identisch sind, reicht eines davon. Das spart noch mehr Platz.

Das Ergebnis: Mehr Video, weniger Wartezeit

Das Tolle an ResAdapt ist:

Es ist blitzschnell: Der KI-Freund muss nicht erst hin- und herzoomen. Er bekommt das Video schon perfekt vorbereitet in einem Durchgang.
Es ist effizient: Da der Freund weniger Pixel verarbeiten muss, kann er 16-mal längere Videos ansehen, ohne langsamer zu werden.
Es ist schlauer: In Tests, bei denen es auf logisches Denken ankommt (z. B. "Warum hat der Junge das Handtuch hochgehoben?"), war ResAdapt deutlich besser als die alten Methoden, weil es die entscheidenden Details nicht "zerquetscht" hat, sondern genau dort hinzeigte, wo sie waren.

Zusammenfassung in einem Satz

ResAdapt ist wie ein intelligenter Filter, der einem KI-Modell sagt: "Schau dir das hier genau an, das hier kannst du ignorieren", damit das Modell mit weniger Rechenleistung klügere Antworten auf längere Videos geben kann. Es ist der Unterschied zwischen einem blinden Rauschen durch ein Video und einem gezielten, scharfen Blick auf das, was wirklich zählt.

1. Problemstellung

Multimodale Large Language Models (MLLMs) erreichen ein besseres visuelles Verständnis, indem sie die Eingabequalität (Fidelity) skalieren. Dies führt jedoch zu einem fundamentalen Dilemma:

Ressourcenkonflikt: Eine hohe räumliche Auflösung (viele Pixel pro Bild) und ein langer zeitlicher Kontext (viele Frames) führen zu einer explosiven Zunahme der visuellen Token. Dies macht die gleichzeitige Verarbeitung hochauflösender Videos über lange Zeiträume prohibitiv teuer und rechenintensiv.
Limitationen bestehender Ansätze:
- Modellseitige Kompression (Token-Pruning/Merging): Diese Methoden komprimieren Token nach der Kodierung. Sie werfen feinkörnige Beweise oft unwiederbringlich weg und stören optimierte Inferenz-Kernels (z. B. FlashAttention), da sie die erwartete Token-Struktur verändern.
- Ausgabeseitiges Agenten-Reasoning: Iteratives Suchen oder Heranzoomen fügt Latenz hinzu und hängt von einer anfänglichen groben Ansicht ab, die entscheidende Hinweise bereits verpasst haben kann.

Kernthese: Der Engpass liegt nicht in der Kompression der Repräsentationen nach der Kodierung, sondern in der Menge an Pixeln, die der Encoder vor der Kodierung erhält.

2. Methodik: ResAdapt

ResAdapt ist ein Input-seitiger Anpassungsrahmen (Input-side Adaptation Framework), der das visuelle Budget pro Frame vor der Kodierung dynamisch zuweist, anstatt Token später zu entfernen.

A. Architektur

Das System besteht aus zwei Hauptkomponenten:

Lightweight Allocator ( $\pi_\theta$ ): Ein leichtgewichtiges Netzwerk, das basierend auf groben visuellen Merkmalen und der Textfrage eine Zuweisungsstrategie für jeden Frame lernt.
MLLM-Backbone ( $\pi_\phi$ ): Das eigentliche Multimodale Modell, das unverändert bleibt und seine native Schnittstelle behält. Es verarbeitet die vom Allocator vorverarbeiteten Frames in einem einzigen Durchlauf.

Der Allocator gibt für jeden Frame einen Skalierungsfaktor $s_t$ aus (z. B. für das Ändern der Auflösung via Resize), der durch einen Operator $O$ (z. B. bilineares Resize) angewendet wird.

B. Lernverfahren: Cost-Aware Policy Optimization (CAPO)

Da die Zuweisung kontinuierlich ist und der Operator nicht differenzierbar ist, wird das Problem als kontextueller Bandit formuliert. Um das Training zu stabilisieren und einen Zusammenbruch zu minimalen Budgets zu verhindern, wird CAPO eingeführt:

Asymmetrisches Shaping: Anstatt einer einfachen linearen Kostenstrafe verwendet CAPO eine asynchrone Belohnungsstruktur. Korrekte Antworten mit niedrigem Kostenbudget erhalten eine moderate Belohnung, während teure, falsche Antworten stark bestraft werden.
Dynamischer Pivot: Ein Schwellenwert $\tau_{dyn}$ wird dynamisch basierend auf dem aktuellen Kostenmittelwert der Gruppe angepasst, um das Gleichgewicht zwischen Genauigkeit und Kosten zu halten.
Temporale Ähnlichkeits-Regularisierung ( $L_{sim}$ ): Um redundante hohe Budgets auf benachbarten, ähnlichen Frames zu unterdrücken, wird eine Strafe verhängt, wenn auf aufeinanderfolgende Frames mit hoher Ähnlichkeit beide hohe Skalierungsfaktoren angewendet werden. Dies fördert eine differenzierte, inhaltsbewusste Zuweisung.

C. Training

Das System wird mit Group Relative Policy Optimization (GRPO) trainiert. Der Allocator und optional das Backbone werden gemeinsam optimiert, wobei die Belohnung auf der Antwortqualität (z. B. Genauigkeit bei QA) und den visuellen Kosten (Token-Anzahl) basiert.

3. Schlüsselbeiträge

Paradigmenwechsel: Einführung von ResAdapt als Input-seitige Anpassung, die das native Architektur-Design und Hardware-Optimierungen des MLLM-Backbones vollständig erhält.
CAPO & Regularisierung: Entwicklung einer stabilen, asymmetrischen Lernsignalmethode (CAPO) in Kombination mit einer temporalen Regularisierung, die eine handgefertigte Heuristik überflüssig macht und eine echte Inhaltsabhängigkeit ermöglicht.
Effizienz-Accuracy-Frontier: Nachweis, dass ResAdapt die Pareto-Frontier für Effizienz und Genauigkeit verbessert, insbesondere bei ressourcenintensiven Aufgaben unter aggressiver Kompression.

4. Ergebnisse

Die Evaluation erfolgte auf verschiedenen Benchmarks (VideoQA, Temporal Grounding, Bildverständnis) mit Backbones wie Qwen2.5-VL-7B und Qwen3-VL-8B.

Leistung bei niedrigem Budget: ResAdapt übertrifft bestehende Methoden (wie ToMe, VisionZip, FlashVid) deutlich, insbesondere bei aggressiver Kompression (ca. 10–12 % Token-Erhaltung). Auf dem reasoning-lastigen Benchmark VideoMMMU erzielt ResAdapt bei 11,4 % Retention eine Genauigkeit von 45,7 %, während andere Methoden nur um die 39–44 % liegen.
Zeitliche Abdeckung: Durch die Einsparung von räumlichen Ressourcen kann ResAdapt bei gleichem visuellen Budget bis zu 16-mal mehr Frames verarbeiten. Dies führt zu einem Leistungsplus von über 15 % bei langen Videos.
Aktive Wahrnehmung (Open-Loop): Das gelernte Policy zeigt ein „aktives Wahrnehmungsverhalten": Es konzentriert das Budget auf informationsreiche Momente (z. B. Text-Overlays, Szenenwechsel, schnelle Bewegungen) und komprimiert redundante oder irrelevante Frames stark.
Latency: Bei langen Videos (z. B. 128 Frames) führt die Reduktion der Token-Anzahl zu einer signifikanten Verringerung der End-to-End-Latenz (bis zu -59,5 % bei 128 Frames), da die Kosten für die Attention-Mechanismen quadratisch mit der Sequenzlänge wachsen.

5. Bedeutung und Ausblick

ResAdapt demonstriert, dass die Verschiebung der Effizienzlast von der Post-Encoding-Kompression zur Pre-Encoding-Budgetsteuerung ein vielversprechender Weg für das Long-Context-Video-Reasoning ist.

Praktische Relevanz: Da das Backbone unverändert bleibt, ist ResAdapt kompatibel mit bestehenden optimierten Inferenz-Engines (wie vLLM, FlashAttention), was die Implementierung erleichtert.
Limitationen: Das System ist „open-loop", d. h., es kann nach der ersten Zuweisung keine Fehler korrigieren, wenn entscheidende Hinweise in einem stark komprimierten Frame übersehen wurden. Zudem ist die Generalisierung auf statische Bilder (ohne Video-Kontext) noch uneinheitlich.

Zusammenfassend bietet ResAdapt einen effektiven, lernbasierten Ansatz, um die Lücke zwischen hoher visueller Fidelity und langen zeitlichen Kontexten in Multimodalen Modellen zu schließen, indem es Ressourcen intelligent dorthin lenkt, wo sie für die Antwortfindung am dringendsten benötigt werden.