Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

Probleemstelling

Hoewel transformer-gebaseerde taalmodellen (LM's) uitstekende prestaties leveren op taken met duidelijke input-output koppelingen (in-distribution), kampen ze met ernstige generalisatieproblemen bij complexe, samengestelde taken (compound tasks) onder distributieveranderingen (distribution shifts).

• De uitdaging: Modellen die zijn getraind op directe vraag-antwoordparen (Q-A) leren vaak oppervlakkige patronen of "shortcuts" in plaats van de onderliggende dynamische afhankelijkheden tussen subtaken te internaliseren.
• Het gevolg: Zelfs met enorme datasets (tot 10 miljoen voorbeelden) presteren deze modellen bijna perfect op trainingsdata, maar falen ze catastrofaal (soms <10% nauwkeurigheid) wanneer ze worden geconfronteerd met nieuwe, onbekende scenario's (Out-of-Distribution of OOD) die afwijken van de trainingsverdeling.
• De vraag: Hoe beïnvloedt de granulariteit van Chain-of-Thought (CoT) data de generalisatie van LM's naar nieuwe samengestelde taken, en is dit een efficiëntere strategie dan traditionele Q-A training?

Methodologie

De auteurs hebben een gecontroleerd experimenteel raamwerk ontwikkeld om de impact van datastrategieën op generalisatie te kwantificeren.

1. Taken en Dataset:
   Drie synthetische, samengestelde redeneertaken werden gebruikt om dynamische afhankelijkheden te simuleren:

   • Longest Increasing Subsequence (LIS): Vind de langste stijgende subreeks.
   • Multi-Step Path Counting (MPC): Tel unieke paden met variabele stappen.
   • Equation Restoration with Variable Computation (ERVC): Herstel lineaire vergelijkingen en voer berekeningen uit.
     De datasets bevatten systematische distributieveranderingen tussen training en evaluatie (bijv. variatie in sequentielengte of combinatorische constraints).

2. Trainingsparadigma's:
   De auteurs vergeleken twee benaderingen:

   • Q-A (0% CoT): Directe koppeling van vraag en eindantwoord.
   • Q-CoT (Chain-of-Thought): Koppeling van vraag met stap-voor-stap redeneringen.
   • Granulariteit Variatie: Om de invloed van detailniveau te testen, werd probabilistische "dropout" toegepast op de CoT-stappen (30%, 50%, 70% en 100% van de stappen behouden).

3. Theoretisch Kader:

   • Recap Condities: De auteurs definiëren "Outside Window" en "Inside Window" recap-condities. Door eindige precisie in attention-mechanismen (RoPE), moeten afhankelijke tokens binnen een bepaald venster worden herhaald of samengevat om te voorkomen dat informatie verloren gaat.
   • Formalisatie: Samengestelde taken worden gemodelleerd als een dynamische graaf van subtaken. CoT wordt formeel gedefinieerd als een sequentie die afhankelijkheden ($G_i$), toestanden ($q_i$) en tussenresultaten ($L_i$) expliciet bijhoudt.
   • Theorema: Er wordt bewezen dat CoT-training de modelarchitectuur dwingt om geldige redeneringspaden te internaliseren, wat de KL-divergentie (distributieverschil) tussen trainings- en evaluatiedata verlaagt.

Belangrijkste Bijdragen

1. Kwantificering van het Generalisatiekloof: Het paper demonstreert dat Q-A-modellen, ondanks hoge in-distribution nauwkeurigheid, een catastrofale daling vertonen bij OOD-taken, zelfs bij schaalvergroting van de dataset.
2. Granulariteit-Generalisatie Trade-off: Er is een sterke correlatie gevonden tussen de fijnheid van de CoT-data en de generalisatieprestaties. Fijner granulaire data (meer tussenstappen) leidt tot betere OOD-prestaties.
3. Sample Efficiency: Modellen getraind met fijngranulaire CoT-data bereiken vergelijkbare generalisatieprestaties als Q-A-modellen met aanzienlijk minder data (tot 80% minder).
4. Theoretische Validatie: Het paper biedt een theoretische onderbouwing waarom CoT werkt: het forceert het model om de dynamische staatsovergangen van samengestelde taken te leren in plaats van oppervlakkige correlaties. Daarnaast wordt aangetoond dat positionele embeddings van transformers de generalisatie versterken door subtaak-condities in lange CoT-sequenties te benadrukken.

Resultaten

De experimentele resultaten bevestigen de hypotheseën overtuigend:

• OOD Generalisatie: Modellen getraind zonder CoT (Q-A) behalen ~80% nauwkeurigheid op trainingsdata, maar dalen naar ~10-30% op OOD-data. Modellen met 100% CoT behalen zowel op trainings- als OOD-data nauwkeurigheden boven de 80-90%.
• Invloed van Granulariteit:
  • 100% CoT: Beste prestaties en robuuste generalisatie.
  • 70% CoT: Nog steeds zeer goed, maar iets minder dan 100%.
  • 30-50% CoT: Significant slechtere OOD-prestaties. Onvolledige redeneringsketens verzwakken de dekking van prefixes en verhogen de KL-divergentie, wat leidt tot een snellere degradatie.
• Schaalvergroting (Scaling Curves):
  • Bij Q-A training stagneert de OOD-prestatie snel, zelfs als de dataset groeit van 1k naar 10.000k voorbeelden.
  • Bij CoT training verbetert de OOD-prestatie continu naarmate de dataset groeit.
• Recap Condities: Experimenten met de "Equation Restoration" taak tonen aan dat het naleven van recap-condities (het herhalen van afhankelijke tokens) cruciaal is. Zonder deze condities daalt de OOD-nauwkeurigheid van ~95% naar ~12%.

Betekenis en Conclusie

Dit paper levert een cruciale inzage voor de ontwikkeling en implementatie van taalmodellen in de praktijk:

• Data Collectie Strategie: Het is niet voldoende om alleen grote hoeveelheden Q-A-data te verzamelen. Voor taken die complex redeneren vereisen, is het verzamelen van fijngranulaire Chain-of-Thought data essentieel om robuuste generalisatie te garanderen.
• Kosten-Efficiëntie: Hoewel het genereren van gedetailleerde CoT-data duurder is in termen van annotatie, is het veel efficiënter in termen van sample efficiency. Een klein aantal hoogwaardige CoT-voorbeelden kan beter presteren dan enorme hoeveelheden Q-A-data.
• Toekomstperspectief: De bevindingen suggereren dat toekomstige data-curatie en fine-tuning-strategieën zich moeten richten op het maximaliseren van de granulariteit van redeneringsstappen om de "generalization gap" onder distributieveranderingen te overbruggen.

Kortom, CoT is niet slechts een prompting-techniek, maar een fundamenteel trainingsparadigma dat nodig is om taalmodellen in staat te stellen om complexe, dynamische taken te generaliseren naar nieuwe omgevingen.