Interaction Scaling: Grounding the Third Axis of Test-Time Compute
Dieses Paper führt „Interaction Scaling“ als eine eigenständige dritte Achse der Test-Time-Compute ein, welche die Grenzen von Reasoning und Sampling durch die Verankerung von sowohl Feedback als auch Evaluation in realen Beobachtungen übertrifft und dadurch eine kontinuierliche Verbesserung bei schwierigen Aufgaben ermöglicht, bei denen traditionelle Methoden stagnieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Künstler, der Bilder zeichnen, Code schreiben oder Folien entwerfen kann. Sie möchten, dass er die perfekte Version eines Projekts erstellt. Normalerweise, wenn der Roboter einen Fehler macht, versuchen wir, ihn auf zwei Arten zu korrigieren:
- Tiefer nachdenken: Wir sagen dem Roboter: „Atme tief durch und überlege länger über dies nach, bevor du zeichnest.“
- Öfter versuchen: Wir sagen dem Roboter: „Zeichne 100 verschiedene Versionen, und wir werden die beste auswählen.“
Das Papier argumentiert, dass beide Methoden eine Gläserne Decke erreichen. Warum? Weil der Roboter nur sein eigenes Gehirn (seine „eingefrorenen Gewichte“) und dieselben ursprünglichen Anweisungen verwendet. Es ist, als würde man eine Person bitten, einen Fehler in ihrer eigenen Zeichnung zu finden, indem sie einfach nur intensiver darauf starrt oder 100 Mal auf demselben Blatt Papier zeichnet. Sie können nicht sehen, was sie noch nicht wissen. Sie stecken in einer geschlossenen Schleife fest.
Der dritte Weg: Der „Realwelt“-Test
Das Papier führt einen dritten Weg namens Interaction Scaling (Interaktions-Skalierung) ein. Anstatt nur nachzudenken oder es erneut zu versuchen, tut der Roboter die Sache tatsächlich und erhält dann einen Bericht von einem echten Instrument.
Stellen Sie sich das so vor:
- Der alte Weg: Der Roboter zeichnet eine Folie, schaut sie an und sagt: „Hmm, vielleicht ist der Text zu groß?“ Er rät nur basierend auf seiner eigenen Meinung.
- Der neue Weg (Grounded Interaction): Der Robbot zeichnet die Folie und reicht sie dann an einen Maßband-Roboter (ein Instrument) weiter. Der Maßband-Roboter hat keine Meinung; er misst einfach nur. Er sagt: „Hey, dieser Text ist 5 Pixel zu groß und ragt über den Rand des Papiers hinaus.“ Der Zeichen-Roboter hört diese reale Tatsache, behebt den spezifischen Fehler und versucht es erneut.
Das ist die Magie: Das Maßband bringt neue Informationen ein, die der Zeichen-Roboter vorher nicht hatte. Es durchbricht die gläserne Decke.
Die große Falle: Der „blinde Richter“
Dies ist der wichtigste Teil der Geschichte, ein kleiner Plot-Twist. Das Papier sagt, dass diese neue Methode nur funktioniert, wenn sowohl das Feedback als auch die Bewertung „geerdet“ (grounded) sind (also auf echten Messungen basieren).
Stellen Sie sich vor, Sie versuchen, eine Präsentation zu korrigieren.
- Das geerdete Instrument: Ein Werkzeug, das das tatsächliche Layout auf dem Computerbildschirm misst. Es sieht, dass Text sich überlappt.
- Der „blinde“ Richter: Eine andere KI, die einen Screenshot der Folie betrachtet.
Das Papier stellte ein ebenso amüsantes wie ernstes Problem fest: Screenshots sind Lügner.
Wenn man einen Screenshot einer Folie macht, bei der Text über den Rand hinausragt, schneidet die Kamera (der Screenshot) den Rand ab. Der kaputte Teil des Textes wird buchstäblich aus dem Bild beschnitten!
- Der Maßband-Roboter sieht das Chaos und sagt: „Repariere es!“
- Der Screenshot-Richter betrachtet das beschnittene Bild, sieht nichts falsch und sagt: „Perfekt! 10/10!“
Wenn Sie den Screenshot-Richter verwenden, um dem Roboter zu sagen, was er korrigieren soll, macht der Roboter die Folien tatsächlich schlechter. Er versucht Dinge zu reparieren, die im Bild nicht kaputt sind, während er die realen Fehler unberührt lässt. Das Papier zeigte, dass bei 15 schwierigen akademischen Abbildungen der Screenshot-Richter 14 von 15 fehlerhaften Bildern als „perfekt“ bewertete, während das Messwerkzeug nur 3 als sauber identifizierte.
Die Ergebnisse: Was ist tatsächlich passiert?
Die Forscher testeten dies bei sieben verschiedenen Arten von Aufgaben (Code, Folien, Webseiten usw.) unter Verwendung einer „Proposer-Reviewer“-Schleife (Vorschlag-Prüfer-Schleife). Hier ist, was sie fanden:
- Für Code: Als sie den Roboter seinen Code ausführen ließen und die tatsächlichen Fehlermeldungen lasen (das „geerdete“ Feedback), erreichten sie eine Pass-Rate von 100 % bei schwierigen Aufgaben. Die alten Methoden (länger nachdenken oder das Beste aus 100 Versuchen auswählen) blieben bei etwa 66 % bis 86 % hängen, selbst wenn sie einen perfekten „Oracle“ zur Auswahl des besten Versuchs gehabt hätten. Die Interaktionsschleife stieg stetig an, während die anderen an einer Wand anstießen.
- Für Visuelles (Folien & Abbildungen): Wenn sie das Messwerkzeug nutzten, um Defekte zu finden, reduzierten sie 40 % bis 74 % der Layout-Fehler.
- Bei Folien korrigierte das Messwerkzeug 73 % der Defekte.
- Bei akademischen Abbildungen korrigierte es 74 %.
- Bei Webseiten korrigierte es 47 %.
- Bei Animationen korrigierte es 40 %.
- Das Scheitern des „blinden“ Richters: Als sie den Screenshot-Richter verwendeten, um die Folien zu bewerten, stieg die Anzahl der Defekte sogar an (um durchschnittlich etwa 2,44 Defekte pro Folie). Der Roboter wurde durch den blinden Richter verwirrt und beschädigte Dinge, die eigentlich in Ordnung waren.
Was ist mit anderen Modellen?
Dies betrifft nicht nur einen speziellen Roboter. Sie testeten dies an drei verschiedenen Familien von KI-Modellen (Sonnet 4, Qwen3-235B und GPT-5). In jedem einzelnen Fall korrigierte die „Interaktionsschleife“ mit echten Messungen die Fehler, während die „tiefer nachdenken“-Methoden ein Limit erreichten. Die Schleife erreichte eine Pass-Rate von 100 % ohne Variation, was bedeutet, dass sie jedes Mal perfekt funktionierte, unabhängig davon, wie der Roboter startete.
Die Lektion für den „Schüler“
Das Papier versuchte auch, einen kleineren, günstigeren Roboter (ein 8-Milliarden-Parameter-Modell) zu lehren, dies zu tun, indem man ihm die erfolgreichen Korrekturen des „Lehrer“-Roboters zeigte.
- Der kleine Schüler konnte etwa 51 % der Arbeit des Lehrers mit nur einem Versuch leisten.
- Wenn man dem kleinen Schüler erlaubte, es zweimal zu versuchen, konnte er 70 % der Arbeit des Lehrers leisten.
- Dies deutet darauf hin, dass die „Magie“ der Schleife gelernt werden kann, aber die Schleife selbst (die Messung in der Realwelt) immer noch benötigt wird, um die besten Ergebnisse zu erzielen.
Das Fazbeit
Das Papier kommt zu dem Schluss, dass es nicht ausreicht, einfach nur „länger nachzudenken“ oder es „öfter zu versuchen“, da der Roboter in seinem eigenen Kopf gefangen ist. Um besser zu werden, muss der Roboter einen Schritt nach draußen machen, etwas bauen und ein echtes Messwerkzeug haben, das ihm genau sagt, was falsch ist.
Aber es gibt einen Haken: Man kann keinen „blinden“ Richter (wie einen Screenshot-Leser) verwenden, um den Erfolg zu messen. Wenn der Richter den Fehler nicht sieht (weil er abgeschnitten oder zu klein ist), wird der Roboter niemals lernen, ihn zu beheben. Das Papier beweist, dass Grounding (die Verwendung von echten Messungen sowohl für das Feedback als auch für die Bewertung) die Geheimzutat ist, die das gesamte System zum Laufen bringt. Ohne sie dreht sich der Roboter nur im Kreis.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.