Nothing from Something: Can a Language Model Discover 0?

Technische Samenvatting: Niets uit Iets: Kan een taalmodel 0 ontdekken?

Probleemstelling
Het paper onderzoekt het vermogen van kunstmatige neurale netwerken om te generaliseren buiten de distributie ("out-of-distribution"), specifiek het vermogen om genuanceerde nieuwe wiskundige structuren te hypothetiseren en te leren die niet aanwezig zijn in hun trainingsdata. Hoewel recente grote taalmodellen (LLM's) hoge prestaties hebben behaald op complexe wiskundige benchmarks (bijv. IMO, Putnam), berusten deze successen grotendeels op trainingsdata die de complexiteit en inhoud van de testproblemen weerspiegelen. De auteurs stellen dat echte wiskundige ontdekking een systeem vereist dat een conceptuele kloof kan overbruggen—van een universum van concepten naar een universum dat krachtigere concepten bevat. Met de introductie van het getal "nul" als casestudy, stelt het paper de vraag: Kan een model dat uitsluitend is getraind op optellen en aftrekken met positieve enkelvoudige cijfers generaliseren om nul te bevatten, en faciliteert taalvoortraining deze sprong?

Methodologie
De auteurs maken gebruik van een gecontroleerde experimentele opzet met GPT-achtige decoder-only transformers (specifiek architecturen ter grootte van GPT-2).

• Modellen: Twee primaire configuraties werden getest: een klein model (4 lagen, 128 embedding dimensie, ~800K parameters) en een groter model (12 lagen, 768 embedding dimensie, ~124M parameters). Deze werden geëvalueerd onder vier condities: (1) voorgetraind op ongefilterde OpenWebText, (2) voorgetraind op een gefilterde OpenWebText-corpus (gestript van getallen en wiskundige symbolen), (3) voorgetraind op ongefilterde data maar zonder de specifieke wiskundige training, en (4) geen voortraining.
• Dataconstructie:
  • Rekentaken: Modellen werden getraind op variabel lange problemen met optellen en aftrekken van enkelvoudige cijfers (2–4 operanden).
  • Zero-Holdout Strategie: De trainings- en validatiesets bevatten alleen problemen waarbij nul niet voorkwam als operand of resultaat (behalve in de eenhedenplaats van meercijferige antwoorden zoals "10"). De testset bestond volledig uit problemen die nul vereisen (bijv. "3-3=0" of "0+5=5").
  • Tokenisatie: Er werd een aangepast handmatig tokenisatieschema gebruikt waarbij elk cijfer en symbool een afzonderlijke token is. Dit zorgt ervoor dat het model "0" behandelt als een specifie-ke token in plaats van onderdeel van een grotere integer-token.
  • Taalvoortraining: Om te garanderen dat de "gefilterde" modellen geen voorafgaande blootstelling aan rekenkunde hadden, hebben de auteurs een versie van OpenWebText gecureerd door alle niet-natuurlijke taaltekens te verwijderen, getallen naar woorden om te zetten en wiskundige symbolen te filteren. Perplexity-checks bevestigden dat deze modellen niet bekend waren met rekenkundige tokens voorafgaand aan de specifieke rekenkundige training.
• Experimenteel Ontwerp:
  1. Zero-Shot Generalisatie: Modellen getraind op positief-alleen rekenkunde werden getest op nul-inclusieve problemen.
  2. Few-Shot Leren: Een klein deel van de trainingsdata (variërend van 1 tot 1024 voorbeelden) werd vervangen door nul-inclusieve problemen om de sample-efficiëntie te meten.
  3. Controlexperimenten: De zero-holdout procedure werd herhaald voor de cijfers 1–9 (en 1–7 in een base-8 setting) om te bepalen of nul uniek moeilijk is om te generaliseren.

Belangrijkste Resultaten

1. Falen van Zero-Shot Generalisatie: Ongeacht taalvoortraining of modelgrootte, faalden GPT-2 sized modellen in het generaliseren naar nul wanneer nul volledig afwezig was uit de trainingsdistributie. Zelfs toen de trainingsverlies daalde en de validatienauwkeurigheid verzadigde, bleef de testnauwkeurigheid op zero-inclusieve problemen op het niveau van toeval liggen.
2. Impact van Few-Shot Data: Wanneer een klein aantal nul-inclusieve voorbeelden aan de trainingsset werd toegevoegd, verbeterde de prestatie van het model aanzienlijk.
   • Voor het taal-voorgetrainde model leverden slechts 64 voorbeelden (0,64% van de trainingsdata) een nauwkeurigheid van >60% op, en 1024 voorbeelden >90% nauwkeurigheid.
   • Sample Efficiëntie: Taalvoortraining verminderde het aantal vereiste few-shot voorbeelden met ongeveer 50% vergeleken met modellen zonder voortraining. Dit suggereert dat taalvaardigheden fungeren als een steiger voor wiskundige ontdekking.
3. Nul is Speciaal: De moeilijkheid van generalisatie varieerde per cijfer. Cijfers in het midden van het bereik (bijv. 4, 5) waren gemakkelijker te generaliseren dan nul of het "overdraagcijfer" (9 in base-10, 7 in base-8).
   • Analyse van embedding vectoren onthulde dat de representaties voor 0 en 9 minder "nabije buren" (cijfers met een hoge cosinus-gelijkenis) hebben vergeleken met middelste cijfers. Dit ondersteunt de hypothese dat modellen moeite hebben met extrapoleren naar cijfers met ijle representatieve buren.
4. Schaalbaarheidslimieten: Experimenten met grotere, open-source 1-miljard parameter modellen (inbegrepen in de Appendix) faalden ook in het ontdekken van nul tijdens de testtijd zonder expliciete blootstelling, wat suggereert dat schaling alleen dit specifieke generalisatieprobleem niet oplost.

Betekenis en Claims
Het paper claimt een rigoureuze benchmark te bieden voor "conceptuele generalisatie" in neurale modellen, verschillend van compositionele generalisatie. De auteurs concluderen dat:

• Huidige GPT-2 sized modellen niet spontaan het concept nul kunnen ontdekken door enkel rekenkundige training; ze vereisen expliciete blootstelling.
• Taalvoortraining zero-shot ontdekking niet mogelijk maakt, maar het leerproces aanzienlijk versnelt zodra het concept wordt geïntroduceerd, waardoor de datavereiste met ongeveer de helft wordt verminderd.
• Deze bevinding staat parallel aan cognitieve wetenschappelijke theorieën (bijv. Carey, 2009) die suggereren dat taalvaardigheden de evolutie van formele concepten in de menselijke cognitie ondersteunen.
• De moeilijkheid bij het generaliseren naar nul (en het overdraagcijfer) benadrukt een beperking in het vermogen van modellen om te extrapoleren buiten de "interpolatie" van bestaande token-representaties.

De auteurs hanteren een bescheiden standpunt door te merken dat hoewel deze resultaten de mechanismen van generalisatie in eenvoudige rekenkunde verhelderen, ze nog niet het vermogen demonstreren om onafhankelijk complexe, nieuwe wiskundige bewijzen te genereren. Het werk dient als een fundamentele stap in het begrijpen van hoe we echte wiskundige ontdekking in AI-systemen kunnen meten en mogelijk kunnen mogelijk maken.