Stochastic Autoregressive Learning

Stel je voor dat je een robot probeert te leren om een verhaal te vertellen. In de oude, "deterministische" manier van denken was de robot als een strenge bibliothecaris: wanneer je een zin gaf, zocht hij in een gigantisch boek naar het ene perfecte volgende woord en spuugde dat uit. Als je hem zou vragen een verhaal te vertellen, zou hij simpelweg steeds het beste woord kiezen, één na het ander, als een trein op een enkel spoor. Wetenschappers hadden al ontdekt hoe je dit soort robots kon leren.

Maar echte taal is geen enkel spoor; het is een wild, vertakkend bos. Moderne AI-modellen (zoals de modellen die essays schrijven of met je chatten) kiezen niet alleen het "beste" woord. In plaats daarvan kijken ze naar het verhaal tot nu toe en zeggen ze: "Hm, misschien is 'kat' 70% waarschijnlijk, 'hond' 20% en 'olifant' 10%." Vervolgens gooien ze een digitale dobbelsteen om het volgende woord te kiezen. Deze willekeur is wat verhalen levendig en gevarieerd maakt. De grote vraag voor wetenschappers is: Hoe moeilijk is het om een robot te leren die op deze manier denkt? Helpt het zien van het hele denkproces van de robot (elke enkele worp van de dobbelsteen die hij maakte) ons om hem sneller te leren, of is het net zo moeilijk als wanneer we alleen de uiteindelijke zin zien?

Dit artikel duikt in die exacte vraag. De auteurs, onderzoekers van MIT en de Hebreeuwse Universiteit, creëerden een nieuw wiskundig model om "stochastisch autoregressief leren" te bestuderen — een chique manier om te zeggen: "een robot leren die woorden kiest door met dobbelstenen te gooien." Ze vergeleken drie verschillende manieren om deze robot te leren:

1. De "Base"-methode: De robot stap voor stap laten zien (bijv. "Hier is een zin, hier is het volgende woord").
2. De "Chain-of-Thought" (CoT)-methode: De robot het hele verhaal laten zien dat hij heeft gegenereerd, stap voor stap, inclusief alle tussenliggende woorden en de worpen van de dobbelstenen.
3. De "End-to-End" (e2e)-methode: Alleen de robot de allereerste prompt en het allerlaatste woord van het verhaal laten zien, waarbij alles daartussen verborgen blijft.

De onderzoekers wilden weten: Als we willen dat de robot echt goed wordt in het voorspellen van het laatste woord, welke onderwijsmethode vereist dan de minste voorbeelden?

Hier kwam de verrassende wending die ze vonden. In de oude, deterministische wereld (waar de robot geen dobbelstenen had), was het zien van het hele verhaal (Coot) meestal een enorme afkorting. Het was alsof je de hele kaart ziet in plaats van alleen de bestemming. Maar in deze nieuwe, willekeurige wereld veranderen de regels volledig. De auteurs bewezen dat er geen universele "beste" methode is. Soms is het zien van de hele keten van gedachten net zo moeilijk als het zien van alleen het einde; andere keren is het veel moeilijker.

Specifiek ontdekten ze dat als je de gedragingen van de robot met hoge precisie wilt leren, je niet simpelweg kunt zeggen: "CoT is altijd makkelijker." Sterker nog, voor sommige lastige problemen kan het zien van de volledige keten van gedachten miljoenen voorbeelden meer vereisen dan alleen naar het eindresultaat kijken, of andersom. De moeilijkheid hangt volledig af van de specifieke "persoonlijkheid" van de robot die je probeert te onderwijzen.

Ze zeiden echter niet alleen "het is ingewikkeld." Ze vonden een manier om de methoden te vergelijken door het "zoomniveau" van het leerdoel aan te passen. Ze lieten zien dat als je bereid bent een iets minder precieze doelstelling te accepteren voor de "Base"-methode, je deze kunt gebruiken om de "Chain-of-Thought"-methode te onderwijzen. Op dezelfde manier bewezen ze dat als je een leraar hebt die goed is in de "Chain-of-Thought"-methode, je die leraar kunt gebruiken om de "End-to-End"-methode te leren, maar dat je een "belasting" betaalt in de vorm van extra voorbeelden die evenredig is aan de lengte van het verhaal.

Om er zeker van te zijn dat deze vreemde resultaten geen toevalstreffer waren, testten ze een zeer gebruikelijk type AI-model genaamd "logistisch autoregressief leren" (denk aan een robot die een standaard wiskundige formule gebruikt om zijn dobbelstenen te gooien). Ze ontdekten dat voor dit specifieke type robot, het zien van het hele verhaal (CoT) een snel en efficiënt leeralgoritme mogelijk maakt. Maar als je alleen het begin en het einde ziet (e2e), wordt leren computationeel onmogelijk voor een computer om snel te doen, ervan uitgaande dat bepaalde standaard wiskundige problemen moeilijk zijn om op te lossen.

Kortom, dit artikel vertelt ons dat wanneer we te maken hebben met AI die willekeur gebruikt, de oude vuistregels niet van toepassing zijn. Je kunt er niet vanuit gaan dat het zien van meer van het denkproces van de robot het leren altijd makkelijker maakt. Soms verbergt de ruis van de dobbelstenen de waarheid zo goed dat je een totaal andere strategie nodig hebt om van de robot te leren, en het artikel biedt de nieuwe kaart om door die onzekerheid te navigeren.