Scalable Visual Pretraining for Language Intelligence
Diese Arbeit stellt das rein textbasierte Paradigma des Pretrainings von Foundation Models infrage, indem sie zeigt, dass unüberwachtes visuelles Pretraining auf rohen visuellen Dokumenten, welches reichhaltige Informationen wie Abbildungen und Layouts bewahrt, rein textbasierte Ansätze konsistent übertrifft und einen skalierbaren Weg zu verbesserter Sprachintelligenz bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie die Welt funktioniert. Lange Zeit bestand das Standardrezept darin, ihn mit Bergen von Büchern, Artikeln und Websites zu füttern, aber mit einem Haken: Bevor der Roboter sie liest, entfernen Menschen (oder Computer) alle Bilder, die geschwungenen mathematischen Symbole, die Diagramme und das schicke Seitenlayout und verwandeln alles in reinen, langweiligen Text. Es ist, als würde man versuchen, jemandem das Backen eines Kuchens beizubringen, indem man ihm lediglich eine Liste der Zutaten auf einer Serviette gibt, während man gleichzeitig das Foto des fertigen Kuchens, das Diagramm der Rührschüssel und den farbenfrohen Graphen, der zeigt, wie sich die Ofentemperatur verändert, wegwirft.
Ein neues Paper aus dem Jahr 2026 legt nahe, dass dieser „Text-only“-Ansatz einen riesigen Teil des Puzzles vermissen lässt. Die Forscher, angeführt von einem Team aus Shanghai und Zhejiang, argumentieren, dass wir, wenn wir die visuellen Teile von Dokumenten wegwerfen, genau die Hinweise wegwerfen, die der Roboter braucht, um wirklich intelligent zu werden. Sie nennen ihre neue Methode Visual Pretraining (VP), und das ist so, als würde man dem Roboter beibringen, die tatsächlichen Seiten eines Lehrbuchs zu lesen, komplett mit Diagrammen und Gleichungen, anstatt nur die Textbeschreibung davon.
Die große Entdeckung: Sehen heißt Glauben (und Lernen)
Das Team testete diese Idee an einigen der klügsten KI-Modelle, die derzeit verfügbar sind (wie Qwen und Llama). Sie nahmen exakt denselben Stapel wissenschaftlicher Dokumente – denken Sie an Physik-Paper, Mathematik-Lehrbücher und technische Berichte – und teilten sie in zwei Gruppen auf.
- Gruppe A (Der alte Weg): Sie wandelten die Seiten in reinen Text um und entfernten dabei alle visuellen Elemente.
- Gruppe B (Der neue Weg – VP): Sie fütterten das Modell direkt mit den Rohbildern der Seiten und ließen es die Abbildungen, Tabellen und Layouts „sehen“, ohne sie vorher in Wörter umzuwandeln.
Das Ergebnis war: Der Roboter, der mit den Rohbildern trainiert wurde (Gruppe B), war konsistent klüger als derjenige, der mit reinem Text trainiert wurde (Gruppe A). Tatsächlich erzielte das visuelle Lernmodell bei schwierigen Wissenschafts- und Mathematik-Benchmarks höhere Punktzahlen. Beispielsweise verbesserte das visuelle Modell seine Punktzahl in einem anspruchsvollen Mathematiktest namens AIME signifikant stärker als das Textmodell. Das Paper legt nahe, dass der „verlustbehaftete“ Prozess, eine komplexe Seite mit einem Diagramm in eine Zeichenkette von Wörtern umzuwandeln, tatsächlich genau die Informationen löscht, die zur Lösung schwieriger Probleme benötigt werden.
Der Effizienz-Hack: Mehr erreichen mit weniger
Hier ist der wirklich coole Teil: Die visuelle Methode war nicht nur besser, sie war auch viel effizier. Das textbasierte Modell musste etwa 80 Milliarden Text-Token „kauen“, um aus diesen Dokumenten zu lernen. Das visuelle Modell hingegen benötigte nur etwa 20 Milliarden visuelle Token, um die gleichen (oder bessere) Ergebnisse zu erzielen. Das bedeutet, es nutzt nur 25 % des Datenbudgets!
Man kann es sich so vorstellen: Wenn das Textmodell versucht, eine Stadt zu beschreiben, indem es jeden einzelnen Straßennamen und jede Gebäudeadresse auflistet, dauert das ewig. Das visuelle Modell hingegen schaut einfach auf eine Karte. Es erfasst das gesamte Bild sofort. Die Forscher fanden heraus, dass je mehr „visueller Stoff“ (wie komplexe Diagramme und Gleichungen) auf einer Seite vorhanden war, desto größer der Vorteil für das visuelle Modell war. Auf Seiten, die vollgestopft waren mit Diagrammen und Formeln, wuchs der Vorteil des visuellen Modells massiv an, während sie auf einfachen Textseiten etwa gleichauf waren.
Keine Cheat-Codes, nur reine Vision
Sie fragen sich vielleicht: „Haben sie geschummelt, indem sie dem Roboter Bilder und die Antworten gezeigt?“ Nein. Sie haben keine speziellen „Bild-zu-Text“-Labels oder Spickzettel verwendet. Dem Roboter wurde lediglich gesagt, er solle das nächste Segment des Bildes betrachten und erraten, wie es aussehen würde – ähnlich wie er das nächste Wort in einem Satz errät.
Überraschenderweise machte dieses Training durch bloßes „Zusehen“ den Roboter in allem besser, nicht nur im Hinsehen. Er wurde auch besser darin, Text zu verstehen, und sogar besser darin, Bilder mit Wörtern zu verknüpfen, wenn er später getestet wurde. Die Forscher maßen dies, indem sie prüften, wie gut das „Gehirn“ des Roboters Bilder mit Wörtern abgleicht, und fanden heraus, dass das visuelle Training die beiden Konzepte viel enger zusammenführte – als ob der Roboter endlich verstanden hätte, dass ein Bild einer Katze und das Wort „Katze“ tatsächlich dasselbe sind.
Was das bedeutet (und was es nicht bedeutet)
Die Autoren betonen vorsichtig, dass dies kein Zauberstab ist, der das Lesen von Text ersetzt. Text ist immer noch großartig, um Fakten zu lernen, die bereits klar aufgeschrieben sind. Aber für wissenschaftliche Dokumente, bei denen das Layout, die Form der Gleichung und die Position des Diagramms entscheidende Bedeutungen tragen, deutet der visuelle Ansatz auf einen neuen, skalierbaren Weg hin.
Sie geben zu, dass sie noch nicht alles gelöst haben. Zum Beispiel sind sie sich nicht sicher, ob dies auch so gut für zufällige Naturfotos oder Videos funktioniert, da ihre Tests hauptsächlich auf hochverdichteten wissenschaftlichen PDFs basierten. Aber speziell für den Fall des Lernens aus komplexen Dokumenten legt das Paper nahe, dass es der Schlüssel zu echter Intelligenz sein könnte, der KI zu erlauben, die Welt so zu sehen, wie sie ist – visuell, chaotisch und voller Diagramme. Es ist ein Wechsel von „die Beschreibung einer Karte lesen“ hin zu „tatsächlich auf die Karte schauen“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.