Interaction Scaling: Grounding the Third Axis of Test-Time Compute
Dit artikel introduceert "interactieschaling" als een onderscheidende derde as van test-tijd rekenkracht die de grenzen van redeneren en sampling overstijgt door zowel feedback als evaluatie te funderen in real-world observaties, waardoor continue verbetering op moeilijke taken mogelijk wordt waar traditionele methoden een plateau bereiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotkunstenaar hebt die plaatjes kan tekenen, code kan schrijven of dia's kan ontwerpen. Je wilt dat hij de perfecte versie van een project maakt. Meestal, wanneer de robot fouten maakt, proberen we dit op twee manieren te herstellen:
- Harder nadenken: We vertellen de robot: "Haal diep adem en denk hier langer over na voordat je tekent."
- Vaker proberen: We vertellen de robot: "Teken 100 verschillende versies, en wij kiezen de beste uit."
Het artikel stelt dat beide methoden tegen een glazen plafond aanlopen. Waarom? Omdat de robot alleen zijn eigen brein gebruikt (zijn "bevroren gewichten") en dezelfde oorspronkelijke instructies. Het is alsoer dat je een persoon vraagt om een fout in zijn eigen tekening te vinden door er alleen maar harder naar te staren of door 100 keer dezelfde tekening te maken op hetzelfde vel papier. Ze kunnen niet zien wat ze niet al weten. Ze zitten gevangen in een gesloten lus.
De Derde Manier: De "Real-World" Test
Het artikel introduceert een derde manier genaamd Interaction Scaling (interactie-opschaling). In plaats van alleen maar dieper na te denken of het opnieuw te proberen, voert de robot de taak daadwerkelijk uit en krijgt hij vervolgens een rapport van een echt instrument.
Denk aan dit voorbeeld:
- De Oude Manier: De robot ontwerpt een dia, kijkt ernaar en zegt: "Hm, misschien is de tekst te groot?" Hij gokt alleen op basis van zijn eigen mening.
- De Nieuwe Manier (Grounded Interaction): De robot ontwerpt de dia, geeft hem vervolgens aan een meetlint-robot (een instrument). De meetlint-robot heeft geen meningen; hij meet gewoon. Hij zegt: "Hé, deze tekst is 5 pixels te groot en loopt over de rand van het papier." De tekenrobot hoort dit echte feit, herstelt de specifieke fout en probeert het opnieuw.
Dit is de magie: het meetlint brengt nieuwe informatie binnen die de tekenrobot voorheen niet had. Het doorbreekt het glazen plafond.
De Grote Valstrik: De "Blinde Rechter"
Dit is het belangrijkste deel van het verhaal, en het is een beetje een plotwending. Het artikel stelt dat deze nieuwe methode alleen werkt als zowel de feedback als de score "gegrond" zijn (gebaseerd op echte metingen).
Stel je voor dat je een dia-presentatie probeert te verbeteren.
- Het Gegronde Instrument: Een hulpmiddel dat de werkelijke lay-out op het computerscherm meet. Het ziet dat tekst elkaar overlapt.
- De "Blinde" Rechter: Een andere AI die naar een screenshot van de dia kijkt.
Het artikel vond een hilarisch maar serieus probleem: Screenshots zijn leugenaars.
Wanneer je een screenshot maakt van een dia waarbij de tekst over de rand loopt, snijdt de camera (de screenshot) de rand af. De tekst die kapot is, wordt letterlijk buiten het beeld gelaten!
- De Meetlint-robot ziet de rommel en zegt: "Herstel dit!"
- De Screenshot-rechter kijkt naar de bijgesneden afbeelding, ziet niets mis en zegt: "Perfect! 10/10!"
Als je de Screenshot-rechter gebruikt om de robot te vertellen wat hij moet herstellen, maakt de robot de dia's eigenlijk slechter. Hij probeert dingen te herstellen die niet kapot zijn in de foto, terwijl hij de echt kapotte delen ongemoeid laat. Het artikel toonde aan dat bij 15 lastige academische figuren, de Screenshot-rechter 14 van de 15 kapotte afbeeldingen als "perfect" beoordeelde, terwijl het meetinstrument slechts 3 als schoon identificeerde.
De Resultaten: Wat Er Werkelijk Gebeurde?
Onderzoekers testten dit op zeven verschillende soorten taken (code, dia's, webpagina's, etc.) met behulp van een "Proposer-Reviewer" lus. Dit is wat ze vonden:
- Voor Code: Wanneer ze de robot zijn code lieten draaien en de werkelijke foutmeldingen lieten lezen (de "gegronde" feedback), bereikten ze een 10% slagingspercentage op moeilijke taken. De oude methoden (langer nadenken of de beste uit 100 kiezen) bleven steken rond de 66% tot 86%, zelfs als ze een perfecte "oracle" hadden om de beste poging te kiezen. De interactielus bleef stijgen, terwijl de anderen tegen een muur liepen.
- Voor Visuele Zaken (Dia's & Figuren): Wanneer ze het meetinstrument gebruikten om defecten te vinden, verminderden ze 40% tot 74% van de lay-outfouten.
- Op Dia's herstelde het meetinstrument 73% van de defecten.
- Op Academische Figuren herstelde het 74%.
- Op Webpagina's herstelde het 47%.
- Op Animaties herstelde het 40%.
- De Fout van de "Blinde" Rechter: Wanneer ze de Screenshot-rechter gebruikten om de dia's te beoordelen, nam het aantal defecten juist toe (gemiddeld met ongeveer 2,44 defecten per dia). De robot raakte in de war door de blinde rechter en maakte dingen kapot die eigenlijk goed waren.
Hoe zit het met andere modellen?
Dit gaat niet alleen over één specifieke robot. Ze testten dit op drie verschillende families van AI-modellen (Sonnet 4, Qwen3-235B, en GPT-5). In elk geval zorgde de "interactielus" met echte metingen voor het herstel van de fouten, terwijl de "harder nadenken"-methoden een limiet bereikten. De lus bereikte een 100% slagingspercentage zonder variatie, wat betekent dat het elke keer perfect werkte, ongeacht hoe de robot begon.
De Les voor de "Student"
Het artikel probeerde ook een kleinere, goedkopere robot (een model met 8 miljard parameters) te leren dit te doen door de succesvolle correcties van de "leraar"-robot te laten zien.
- De kleine student kon ongeveer 51% van het werk van de leraar doen met slechts één poging.
- Als ze de kleine student twee keer de kans gaven, kon hij 70% van het werk van de leraar doen.
- Dit suggereert dat de "magie" van de lus geleerd kan worden, maar dat de lus zelf (de echte meting in de wereld) nog steeds nodig is om de beste resultaten te behalen.
De Kernboodschap
Het artikel concludeert dat simpelweg "harder nadenken" of "vaker proberen" niet genoeg is, omdat de robot gevangen zit in zijn eigen hoofd. Om beter te worden, moet de robot naar buiten stappen, iets bouwen, en een echt meetinstrument laten zeggen wat er precies mis is.
Maar er is een addertje onder het gras: je kunt geen "blinde" rechter (zoals een screenshot-lezer) gebruiken om het succes te meten. Als de rechter de fout niet kan zien (omdat deze is bijgesneden of te klein is), zal de robot nooit leren deze te herstellen. Het artikel bewijst dat grounding (het gebruik van echte metingen voor zowel feedback als scoring) het geheime ingrediënt is dat het hele systeem laat werken. Zonder dit onderdeel draait de robot alleen maar met zijn wielen in de modder.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.