Test-Time Scaling for Small VLMs on Multilingual Visual MCQ
Diese Arbeit zeigt, dass bei kleinen multilingualen Vision-Language-Modellen die Skalierungsgewinne zur Testzeit primär durch die Gewährleistung der Prompt-Parsbarkeit und ausreichender Dekodierungsbudgets getrieben werden, statt durch komplexe Such- oder Verifizierungsmechanismen, wobei das zugrunde liegende Policy-Modell der signifikanteste Faktor für das Erreichen von State-of-the-Art-Leistung bei visuellen Multiple-Choice-Benchmarks ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein kniffliges, mehrsprachiges Rätsel zu lösen, bei dem die Hinweise in Bildern versteckt sind. Sie haben ein Team von kleinen, klugen Robotern (genannt „Vision-Language Models“), die Ihnen helfen sollen. Lange Zeit dachten die Menschen, das Geheimnis zum Lösen dieser Rätsel bestehe darin, eine superkomplexe Maschine zu bauen, die jeden einzelnen Schritt des Denkens des Roboters überprüfen kann, oder darin, den Roboter seine eigenen Antworten so lange umschreiben zu lassen, bis sie perfekt sind.
Doch dieser Artikel, geschrieben von Forschern der Universität Amsterdam für den ImageCLEF 2026-Wettbewerb, sagt: „Halt mal kurz! Das Geheimnis ist keine ausgeklügelte Maschine; es ist einfach, den Robotern mehr Zeit zu geben, ihre Sätze zu beenden.“
Die große Entdeckung: Mehr Wörter, weniger Denken
Die Forscher testeten eine Reihe verschiedener Strategien an einem massiven Satz von Prüfungsfragen (11 verschiedene Sprachen, 20 Themen), um zu sehen, was diesen kleinen Robotern tatsächlich hilft, besser zu argumentieren. Sie fanden heraus, dass das Wichtigste nicht die Frage war, wie clever die Suchmethode war, sondern wie lange der Roboter reden durfte, bevor er aufhören musste.
Stellen Sie sich das wie einen Schüler vor, der eine Prüfung ablegt.
- Der alte Weg: Sie sagen dem Schüler: „Denk wirklich tief nach, überprüfe deine Arbeit und schreibe einen perfekten Essay“, aber Sie geben ihm nur 1.000 Wörter dafür. Er könnte die richtige Antwort in seinem Kopf bereits gefunden haben, aber ihm geht der Platz aus, bevor er den letzten Buchstaben (A, B, C, D oder E) aufschreiben kann. Er hat die Argumentation richtig durchgeführt, scheitert aber an der Prüfung, weil er sich nie auf eine Antwort festgelegt hat.
- Der neue Weg: Sie sagen dem Schüler: „Schreib einfach deine Gedanken auf, aber du darfst bis zu 2.048 Wörter verwenden.“ Plötzlich hat er genug Platz, um seine Geschichte zu beenden und tatsächlich den Antwortbuchstaben zu schreiben.
Die Forscher haben dies sorgfältig gemessen. Als sie das Wortlimit von 1.000 auf 2.048 Token verdoppelten, sprang die Genauigkeit um 3,7 Prozentpunkte. Das ist ein riesiger Gewinn! Aber als sie versuchten, mehr Antworten zu erhalten, indem sie den Roboter baten, 16 verschiedene Gedankengänge (Chains of Thought) statt 8 zu generieren (Verdopplung der Versuche), stieg die Punktzahl nur um winzige 0,15 Prozentpunkte. Es ist, als würde man einen Schüler bitten, denselben Essay 16 Mal statt einmal zu schreiben; das hilft nicht viel, wenn er ohnehin schon am Wortlimit gescheitert wäre.
Was nicht funktionierte (Die „coolen“ Ideen, die scheiterten)
Die Forscher probierten einige sehr ausgeklügelte Tricks aus, die eigentlich funktionieren sollten, aber die Daten zeigten, dass dies nicht der Fall war.
- Der „Schritt-für-Schritt“-Coach: Sie versuchten, ein spezielles „Process Reward Model“ (PRM) einzusetzen, das wie ein Coach fungiert, jeden einzelnen Schritt der Argumentation des Roboters überprüft und ihn wie eine Beam Search leitet. Sie dachten, dies wäre besser, als den Roboter einfach frei raten zu lassen. Ergebnis: Es schnitt tatsächlich schlechter ab als die einfache Methode und senkte die Punktzahl um 0,39 Prozentpunkte, während es 8,7-mal mehr Rechenleistung kostete. Es stellte sich heraus, dass der Coach durch die Bilder verwirrt wurde und den Roboter nicht wieder auf den richtigen Weg führen konnte.
- Der „Richter“-Roboter: Sie versuchten, einen zweiten Roboter hinzuzufügen, der als Richter fungiert, alle Antworten liest und die beste auswählt. Sie testeten zwei Typen: einen, der darauf trainiert war, ein Kritiker zu sein, und einen, der einfach ein intelligentes generatives Modell war. Ergebnis: Keiner davon schlug die einfache Methode des „Mehrheitsvotierens“ (die Antwort zu wählen, die am häufigsten vorkommt). Tatsächlich machten die Richter beim intelligenteren Roboter die Dinge sogar etwas schlechter. Der Artikel legt nahe, dass dies daran liegt, dass die Richter keinen Unterschied zwischen einer richtigen und einer falschen Antwort erkennen konnten, wenn die Antworten nah beieinander lagen.
- Selbstkorrektur: Sie untersuchten, ob es hilft, den Roboter seine eigenen Fehler korrigieren zu lassen. Ergebnis: Nein. In diesem Maßstab führte das Zulassen der Selbstkorrektur oft dazu, dass es schlechter wurde.
Der wahre Held: Der Roboter selbst
Der größte Schub kam gar nicht durch eine neue Strategie, sondern durch den Austausch des Roboters. Als sie von einem älteren Modell (Qwen2.5-VL-7B) zu einem neueren, kleineren Modell (Qwen3.5-4B) wechselten, sprang die Punktzahl um 11,4 Prozentpunkte. Dies deutet darauf hin, dass es viel wichtiger ist, ein intelligenteres „Gehirn“ (das Policy-Modell) zu haben, als einen ausgeklügelten „Denkprozess“ (die Suchmethode).
Der „Reparatur“-Trick
Es gab einen kleinen Fehler: Manchmal schrieb der Roboter trotz ausreichender Wortanzahl eine großartige Erklärung, vergaß aber, den finalen Buchstaben (A, B, C usw.) zu schreiben. Die Forscher fanden einen einfachen „Guided Repair“-Trick: Wenn der Roboter keinen Buchstaben schrieb, zwangen sie ihn einfach dazu, für ein einziges Token „Antwort: [A/B/C/D/E]“ zu sagen. Dies behob das Problem für die verbleibenden 2,67 % der Fragen, die sonst fehlgeschlagen wären, und schloss damit die Lücke effektiv.
Das Endergebnis
Durch die Kombination des neueren Roboters (Qwen3.5-4B), eines großzügigen Wortlimits (2.048 Tokens), der Anforderung von 16 verschiedenen Versuchen und des einfachen „Reparatur“-Tricks erreichten das Team eine Genauigkeit von 84,1 % im Abschlusstest. Dies brachte sie auf den ersten Platz der Bestenliste.
Das Fazit
Die wichtigste Lehre hier ist, dass für kleine Vision-Language-Modelle Engineering-Details wichtiger sind als komplexe Algorithmen. Wenn man dem Modell genug Raum gibt, seinen Gedanken zu Ende zu führen (das Token-Budget), und einen Prompt verwendet, der es zwingt, sich auf eine Antwort festzulegen, erzielt man bessere Ergebnisse, als wenn man versucht, es mit komplexen Suchbäumen oder Richtern zu überlisten. Der Artikel legt nahe, dass die beste Strategie – solange wir keine besseren Modelle haben – einfach darin besteht, dem Modell mehr Zeit zum Reden zu geben und seine Formatierung zu korrigieren, anstatt zu versuchen, es mit komplizierten Suchbäumen oder Richtern zu überlisten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.