InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing

Die Arbeit stellt InternVL-U vor, ein leichtgewichtiges 4-Milliarden-Parameter-Modell, das durch eine modulare Architektur und eine datengetriebene Synthesepipeline Verständnis, Schlussfolgerung, Generierung und Bearbeitung in einem einheitlichen Rahmen vereint und dabei trotz seiner geringen Größe leistungsstärkere Basismodelle mit über 14 Milliarden Parametern in verschiedenen Aufgaben übertrifft.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen genialen Bibliothekar und einen talentierten Maler in einer Person vereint. Bisher waren diese beiden Talente oft getrennt: Der Bibliothekar konnte alles verstehen und logisch denken, aber er konnte nicht malen. Der Maler konnte wunderschöne Bilder erschaffen, aber er verstand oft nicht genau, was Sie wollten, besonders wenn es um komplexe Regeln oder Text ging.

Das Papier stellt InternVL-U vor – ein neues KI-Modell, das diese beiden Welten endlich zusammenführt. Es ist wie ein „Schweizer Taschenmesser" für Bilder und Sprache, das nicht riesig und schwerfällig ist, sondern schlank, schnell und für jeden zugänglich.

Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der „Zwei-Köpfe"-Konflikt

Stellen Sie sich vor, Sie bauen einen Roboter, der sowohl ein Buch lesen als auch ein Gemälde malen soll.

• Der Lesekopf braucht klare, logische Daten, um zu verstehen, was ein Satz bedeutet.
• Der Malerkopf braucht fließende, künstlerische Daten, um Farben und Formen zu mischen.

Frühere Modelle versuchten, beides mit demselben „Gehirn" zu tun. Das führte oft zu Problemen: Entweder war das Modell gut im Lesen, aber die Bilder sahen aus wie ein Durcheinander von Farben. Oder es malte tolle Bilder, verstand aber Ihre Anweisungen nicht richtig (z. B. „Mach den Hund rot" und plötzlich ist der Hund ein rotes Auto).

2. Die Lösung: InternVL-U als „Spezialist mit einem gemeinsamen Gehirn"

InternVL-U löst dieses Problem mit einem cleveren Trick, den die Autoren als modulares Design bezeichnen.

• Das Gehirn (Verstehen): Es nutzt ein starkes, bereits trainiertes „Verständnis-Modell" (wie ein erfahrener Bibliothekar), das die Welt, Logik und Sprache perfekt kennt.
• Der Pinsel (Erstellen): Anstatt das Gehirn zu zwingen, auch zu malen, hat es einen spezialisierten Pinsel (einen sogenannten MMDiT-Generator) angebracht. Dieser Pinsel ist darauf spezialisiert, Bilder zu erschaffen, während das Gehirn ihm sagt, was gemalt werden soll.

Die Analogie: Stellen Sie sich einen Chefarchitekten vor (das Gehirn), der die Pläne und die Physik eines Hauses perfekt versteht. Er gibt die Anweisungen nicht selbst mit dem Maurerlöffel aus, sondern leitet einen hochspezialisierten Baubrigade (den Pinsel), die die Mauern genau nach Plan setzt. Das Ergebnis: Ein Haus, das nicht nur schön aussieht, sondern auch stabil ist und genau so steht, wie geplant.

3. Der „Denk-Schritt" (Chain-of-Thought): Vom Wunsch zur Realität

Ein großes Problem bei KI ist oft, dass Nutzer sehr vage Anweisungen geben.

• Nutzer: „Mach ein lustiges Bild von einem Hund."
• Schlechtes KI-Ergebnis: Ein Hund, der vielleicht nur ein bisschen komisch aussieht.

InternVL-U nutzt eine Technik namens Chain-of-Thought (CoT), was man sich wie einen internen Notizblock vorstellen kann. Bevor das Modell das Bild malt, denkt es laut nach:

1. „Der Nutzer will Humor."
2. „Ein Hund allein ist nicht lustig."
3. „Vielleicht trägt der Hund eine Perücke und sitzt in einem Bademantel?"
4. „Ah, und der Hintergrund sollte ein Badezimmer sein."

Erst nachdem dieser Denkprozess abgeschlossen ist, malt es das Bild. Das ist wie ein Künstler, der erst skizziert und überlegt, bevor er die Farbe aufträgt. Das führt zu Bildern, die viel besser auf den eigentlichen Wunsch des Nutzers zugeschnitten sind.

4. Was kann dieses Modell besonders gut?

Das Papier zeigt, dass InternVL-U nicht nur „irgendein" Bild macht, sondern in Bereichen glänzt, wo andere scheitern:

• Text in Bildern: Viele KIs schreiben „Hund" und malen dann „Hnd" oder „Hundd". InternVL-U kann Texte in Bildern (wie Schilder oder Zeitungen) perfekt schreiben und sogar ändern, ohne das Bild zu zerstören.
• Wissenschaft und Logik: Wenn Sie sagen: „Zeig mir ein Diagramm, wie ein Atom funktioniert" oder „Löse dieses Sudoku", versteht es die Regeln und malt das korrekte Bild, nicht nur eine schöne Unschärfe.
• Humor und Memes: Es versteht den Witz hinter einem Meme und kann genau das hinzufügen, was nötig ist, um es lustig zu machen (z. B. einen bestimmten Gesichtsausdruck oder einen Text).
• Räumliches Denken: Es kann Objekte im Raum drehen oder 3D-Objekte aus verschiedenen Blickwinkeln zeichnen, ohne dass die Perspektive verrutscht.

5. Warum ist das wichtig? (Demokratisierung)

Bisher waren solche „All-in-One"-Modelle oft riesig (wie ein 14-Milliarden-Parameter-Monster) und nur für große Firmen zugänglich. InternVL-U ist mit nur 4 Milliarden Parametern viel kleiner und effizienter.

Die Metapher:
Stellen Sie sich vor, früher brauchte man eine ganze Fabrik, um ein Auto zu bauen, das auch fliegen kann. InternVL-U ist wie ein elektrisches Motorrad, das genauso schnell ist wie das Auto, aber viel weniger Platz braucht und von jedem gefahren werden kann. Es bringt die Kraft von Super-KIs in die Hände von normalen Entwicklern und Forschern.

Zusammenfassung

InternVL-U ist wie ein multitalentierter Künstler, der nicht nur malt, sondern auch denkt, logisch schließt und Texte perfekt schreibt. Durch eine clevere Architektur (Trennung von Verstehen und Malen) und eine „Denk-Vorplanung" (CoT) schafft es Bilder, die nicht nur hübsch sind, sondern auch sinnvoll, logisch korrekt und genau das tun, was Sie wollen – und das alles in einer Größe, die für die breite Masse zugänglich ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing" auf Deutsch:

1. Problemstellung

Einheitliche Multimodale Modelle (UMMs), die Verstehen, Schlussfolgern, Generierung und Bearbeitung kombinieren, stehen vor einem inhärenten Zielkonflikt: Die Aufrechterhaltung einer starken semantischen Verständigungsfähigkeit (oft durch Large Language Models, LLMs, erreicht) steht im Wettbewerb mit der Aneignung leistungsfähiger Bildgenerierungsfähigkeiten.

• Bestehende Ansätze:
  • Vollständig native UMMs: Werden von Grund auf neu trainiert, haben aber oft Schwierigkeiten, die Datenverteilungen verschiedener Modalitäten auszugleichen und verzichten auf den Nutzen bereits existierender State-of-the-Art (SOTA) Verstehensmodelle.
  • Vollständig ensemble-basierte UMMs: Kombinieren vortrainierte Verstehensmodelle mit externen Bildgeneratoren. Dies führt oft zu einem Trade-off zwischen Qualität und Effizienz (große Parameterzahlen für Qualität oder komplexe, fragmentierte Konditionierungs-Pipelines).
• Datenlücke: Herkömmliche Generierungsmodelle werden auf visuell reichen, aber semantisch dichten Daten trainiert, während Verstehensmodelle auf textreichen, strukturierten Daten basieren. Dies führt zu einer Lücke bei Aufgaben, die hohe semantische Dichte erfordern (z. B. Textrendering, wissenschaftliche Diagramme, logisches Editieren).

2. Methodik: InternVL-U

InternVL-U ist ein leichtgewichtiges UMM mit 4 Milliarden Parametern (basierend auf InternVL 3.5), das diese Fähigkeiten in einem einzigen Framework vereint.

A. Architektur-Design

Die Architektur folgt drei grundlegenden Prinzipien:

1. Unified Contextual Modeling mit modality-adaptiver Generierung:
   • Kontext: Visuelle und linguistische Token werden in einen gemeinsamen latenten Raum projiziert und mittels eines einheitlichen autoregressiven (AR) Paradigmas verarbeitet, um semantische Abhängigkeiten zu erfassen.
   • Generierung: Statt eines „Token-für-alles"-Ansatzes wird ein hybrides Ziel verfolgt. Text wird weiterhin über AR (Cross-Entropy) generiert, während Bilder über einen kontinuierlichen Raum mittels Flow Matching (eine Verallgemeinerung von Diffusion) erzeugt werden.
2. Strukturelle Effizienz durch modality-spezifisches Moduldesign:
   • Das Modell nutzt einen vortrainierten ViT-Encoder für das visuelle Verständnis, um visuelle Informationen effizient zu aggregieren, bevor sie in den LLM-Backbone eingespeist werden.
   • Ein dedizierter MMDiT-basierter Visual-Generation-Head (Multimodal Diffusion Transformer) ist für die Bildsynthese zuständig. Dieser Head nimmt die versteckten Zustände des MLLM als Konditionierungssignale entgegen, entlastet so den Backbone von der Pixel-Rekonstruktion und erhöht die Effizienz.
3. Entkoppelte visuelle Repräsentationen:
   • Verstehen: Nutzt hochlevelige semantische Merkmale aus einem ViT.
   • Generierung: Nutzt einen separaten, für die Rekonstruktion trainierten VAE (Variational Autoencoder), der Bilder in einen für die Synthese geeigneten latenten Raum komprimiert. Dies vermeidet den Optimierungs-Konflikt zwischen semantischer Abstraktion und pixelgenauer Rekonstruktion.

B. Trainingsstrategie

Ein dreistufiger Curriculum-Learning-Ansatz wird angewendet:

1. Pre-training des Generierungs-Heads: Der MLLM-Backbone wird eingefroren; nur der neue Head und die Projektoren werden trainiert (Text-to-Image und Image Editing).
2. Weiteres Pre-training mit beliebiger Auflösung: Variable Auflösungen (512–1024 px) und Aspektverhältnisse werden eingeführt, um die visuelle Treue zu erhöhen.
3. Unified Supervised Finetuning: Der gesamte Modell wird entfroren. Hier wird Chain-of-Thought (CoT)-Daten integriert, um das Modell zu lehren, abstrakte Benutzerabsichten in ausführbare visuelle Schritte zu zerlegen.

C. Datenkonstruktion (Data Synthesis)

Ein wesentlicher Beitrag ist die Erstellung einer umfassenden Datenpipeline für hochsemantische Aufgaben:

• Text-zentrierte Daten: Automatisierte Pipelines für Textrendering auf natürlichen Bildern und reinen Hintergründen sowie Texteditierung (OCR-basiert).
• Wissenschaftszentrierte Daten: Nutzung von Programmierwerkzeugen (GeoGebra, SVG, Python-Bibliotheken) zur Generierung von physikalischen, chemischen und Informatik-Diagrammen mit strikter logischer Konsistenz.
• Räumlich-zentrierte Daten: Synthese von 3D-Geometrie, CAD-Ansichten und Rotationsaufgaben.
• Humor-zentrierte Daten: Erstellung von Memes durch Kombination von Bild und Text.
• Reasoning-centric Paradigma: Einführung von CoT-Daten, die vage Anweisungen in detaillierte, schrittweise Pläne umwandeln (z. B. „Erstelle ein Meme" wird zu „Füge Text X an Position Y hinzu, behalte Hintergrund bei").

3. Wichtige Beiträge

1. Effiziente Architektur: InternVL-U demonstriert, dass ein 4B-Parameter-Modell (2B Verstehen + 1.7B Generierung) die Leistung von deutlich größeren Modellen (z. B. BAGEL mit 14B Parametern) übertreffen kann, ohne die Verstehensfähigkeiten zu beeinträchtigen.
2. Reasoning-centric Data Synthesis: Die Einführung von CoT als Brücke zwischen abstrakten Benutzerabsichten und präziser visueller Ausführung, insbesondere für komplexe Editier- und Generierungsaufgaben.
3. Benchmarking: Vorstellung von GenEditEvalKit (für die Evaluierung von Generierung und Editierung) und TextEdit Benchmark (ein umfassender Benchmark für Textbearbeitung in Bildern).

4. Ergebnisse

Die empirischen Evaluationen zeigen überlegene Ergebnisse im Verhältnis von Leistung zu Effizienz:

• Multimodales Verstehen & Schlussfolgern: InternVL-U erreicht auf Benchmarks wie MME-P, OCRBench und MMMU Ergebnisse, die mit deutlich größeren Modellen (z. B. BAGEL) vergleichbar oder besser sind, und übertrifft andere UMMs wie Janus-Pro oder Ovis-U1 deutlich.
• Text-zu-Bild-Generierung:
  • Übertrifft Unified Baselines in allgemeinen Aufgaben (GenEval, DPG-Bench).
  • Textrendering: Zeigt SOTA-Leistung bei der Generierung von lesbarem Text (LongText-Bench, CVTG-2k) und schlägt dabei auch große geschlossene Modelle in bestimmten Szenarien.
  • Wissensbasierte Generierung: Durch CoT wird die Fähigkeit, wissenschaftliches Wissen korrekt darzustellen (WISE, GenExam), massiv verbessert.
• Bildbearbeitung:
  • Übertrifft Unified Baselines in allgemeinen Editieraufgaben (ImgEdit, GEdit-Bench).
  • Textbearbeitung: Auf dem neuen TextEdit-Benchmark erzielt InternVL-U eine F1-Score von 0,71 und liegt damit nahe an kommerziellen Closed-Source-Modellen (Nano Banana Pro) und weit vor anderen Open-Source-UMMs.
  • Logikbasierte Editierung: Durch CoT erreicht das Modell auf dem RISEBench (logische Schlussfolgerungen beim Editieren) eine deutliche Leistungssteigerung und schlägt spezialisierte Editiermodelle.

5. Bedeutung

InternVL-U markiert einen wichtigen Schritt hin zu Demokratisierung und AGI-fähigen Multimodalen Modellen.

• Kosteneffizienz: Es zeigt, dass hohe Leistung nicht zwingend massive Parameterzahlen erfordert, wenn Architektur und Datenstrategie optimal aufeinander abgestimmt sind.
• Einheitlichkeit: Es beweist, dass Verstehen und Generieren nicht gegeneinander ausgespielt werden müssen, sondern durch Entkoppelung der Repräsentationen und hybride Ziele synergistisch wirken können.
• Anwendbarkeit: Durch die Fokussierung auf hochsemantische Aufgaben (Text, Wissenschaft, Logik) adressiert das Modell reale Anwendungsfälle, bei denen reine ästhetische Generierung nicht ausreicht.
• Community-Beitrag: Die Veröffentlichung von Modellen, Code (GitHub), Daten-Pipelines und neuen Benchmarks fördert die weitere Forschung im Bereich einheitlicher Multimodaler Modelle.

Zusammenfassend stellt InternVL-U einen neuen Standard für leichte, aber leistungsstarke UMMs dar, die komplexe reasoning-basierte Aufgaben in der Bildgenerierung und -bearbeitung bewältigen können.