The Format Tax
Het onderzoek toont aan dat de eis tot gestructureerde uitvoer de redeneerprestaties van open-weight modellen sterk beïnvloedt, maar dat deze 'format-taks' grotendeels kan worden opgeheven door redenering en opmaak te ontkoppelen via een tweestapsproces.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De "Format Belasting": Waarom LLM's minder slim worden als ze netjes moeten antwoorden
Stel je voor dat je een zeer intelligente, creatieve schrijver hebt die alles over de wereld weet. Je vraagt hem een ingewikkeld wiskundeprobleem op te lossen. Normaal gesproken denkt hij hard na, schrijft hij zijn gedachten op een kladblaadje en komt hij met het juiste antwoord.
Maar nu zeg je tegen hem: "Oké, maar ik wil dat je je antwoord niet gewoon opschrijft. Je moet het in een heel specifiek, strak jasje steken, zoals een JSON-formaat (een soort digitale doos met vakjes), of in een LaTeX-document met formules."
Dit onderzoek, getiteld "The Format Tax" (De Format Belasting), ontdekt iets verrassends: zodra je deze schrijver dwingt om in zo'n strak jasje te werken, wordt hij plotseling minder slim. Hij maakt meer fouten in de wiskunde, de logica en zelfs in het schrijven van teksten. Het is alsof je een marathonloper een zware, oncomfortabele jas laat dragen voordat hij begint; hij komt wel aan, maar hij is veel minder snel en maakt meer struikelpunten.
Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaagse taal:
1. Het probleem: De "Jas" is te zwaar
Vroeger dachten onderzoekers dat het probleem zat in de vertaler (de decoder). Ze dachten: "Als de computer probeert de tekst in een strak jasje te steken, maakt hij per ongeluk fouten in de vertaling." Ze probeerden dus betere vertalers te bouwen.
Maar dit onderzoek zegt: Nee, dat is niet het grootste probleem.
Het echte probleem zit in de vraag zelf. Zodra je de AI vraagt: "Geef me het antwoord in JSON," raakt de AI al in paniek voordat hij begint met denken. Hij probeert tegelijkertijd te denken én de vorm te bewaken. Het is alsof je iemand vraagt om een ingewikkeld wiskundeprobleem op te lossen terwijl hij tegelijkertijd een bal op zijn hoofd moet houden. Hij doet het, maar de wiskundige kwaliteit zakt.
2. De oplossing: Eerst denken, dan kleden
De oplossing is verrassend simpel: Scheid het denken van het kleden.
De onderzoekers hebben twee manieren gevonden om dit te doen, en beide werken wonderbaarlijk goed:
De Twee-Stappen Methode (2-Turn):
- Vraag de AI eerst: "Los dit probleem op en schrijf het gewoon op, zoals een mens dat zou doen." (Geen strak jasje).
- Vraag daarna aan een tweede AI (of dezelfde AI in een nieuwe ronde): "Neem dit antwoord en zet het nu om in JSON."
- Analogie: Laat de kok eerst het gerecht koken en proeven. Pas als het perfect smaakt, laat je de ober het op een mooi bord serveren. De smaak (het antwoord) blijft perfect, omdat de kok zich niet hoefde te bekommeren om het bord tijdens het koken.
De "Gedachte" Methode (Thinking):
Laat de AI eerst een "geheugen" gebruiken (een kladblaadje) om alles uit te rekenen, en pas daarna het officiële antwoord geven in het strakke jasje.- Analogie: De AI schrijft eerst zijn hele gedachtestroom op een kladblaadje (waar hij vrij is), en schrijft daarna pas de nette, officiële versie op het eindverslag.
3. Wie heeft last van dit probleem?
- Open-weight modellen (de "gratis" of open-source modellen): Deze modellen lijden enorm onder deze belasting. Ze worden duidelijk dommer als ze een strak formaat moeten gebruiken.
- Closed-weight modellen (de dure, gesloten modellen zoals de nieuwste versies van GPT of Claude): Deze modellen lijken dit probleem niet te hebben. Ze kunnen net zo goed denken terwijl ze in een strak jasje zitten. Dit suggereert dat het probleem niet inherent is aan de technologie, maar dat de open-source modellen nog moeten leren hoe ze dit moeten aanpakken.
4. Waarom is dit belangrijk?
In de echte wereld gebruiken bedrijven AI om software te bouwen, tools aan te sturen en data te verwerken. Die systemen hebben allemaal strakke formaten nodig (zoals JSON).
Als je AI nu "belasting" betaalt in de vorm van minder slimme antwoorden, betekent dit dat je systemen minder betrouwbaar zijn dan ze zouden kunnen zijn.
De conclusie in één zin:
Als je wilt dat je AI slim blijft, laat hem dan eerst vrijuit denken en pas daarna in het strakke pakje steken. De "belasting" die je nu betaalt, is niet nodig; je kunt hem gewoon vermijden door het proces op te splitsen.
Het is alsof je een genie vraagt om een sonnet te schrijven over kwantumfysica. Als je zegt: "Schrijf het direct in de juiste rijmstructuur," zal hij vastlopen. Maar als je zegt: "Schrijf eerst alles op wat je weet over kwantumfysica, en dan pas zetten we het in rijm," krijg je een briljant gedicht.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.