Technische Samenvatting: Diagnose van Schadelijke Voortzetting in Lange CoT-Trainingsporen met Juiste Antwoorden

Probleemstelling

Lange chain-of-thought (CoT)-poren worden veel gebruikt als supervisie voor redeneringsgerichte Supervised Fine-Tuning (SFT) van Large Language Models (LLM). Hoewel bestaande literatuur erkent dat poren met een juist antwoord variëren in trainingsnut vanwege stijl of structuur, blijven de interne faalmodi van deze poren onderbelicht. Specifiek is het onduidelijk of een lange redeneertrace nog steeds uniform nuttig blijft zodra het uiteindelijke antwoord correct is.

Dit artikel onderzoekt een specifiek fenomeen in lange CoT-gegevens met juiste antwoorden: voortzetting na conclusie. Dit treedt op wanneer het antwoord al voldoende wordt ondersteund door de redeneertrace, maar de generatie toch doorgaat met extra redeneerstappen die nog steeds deel uitmaken van het supervisie-doel. De auteurs veronderstellen dat deze fase "laagwaardig" kan zijn, gekenmerkt door aanhoudende lokale onzekerheid en zwakke voortgang in de verborgen toestand, en potentieel fungeert als een "schadelijke voortzetting" die de SFT-resultaten verslechtert, ondanks het behoud van de juistheid van het antwoord.

Methodologie

1. Operationele Partitionering en Diagnose

Om dit fenomeen te diagnosticeren zonder a priori aan te nemen dat het inherent schadelijk is, maken de auteurs gebruik van een editor die alleen verwijdert (Qwen3.5-27B) om 4.780 lange CoT-trajecten met juiste antwoorden uit het OpenR1-Math-220k-dataset te verwerken.

• Operationele Groepen: De editor markeert zinnen die kunnen worden verwijderd terwijl de redenering die nodig is om het uiteindelijke antwoord te herstellen, behouden blijft. Dit partitioneert elke trace in:
  • Behouden Redenering: Het prefix dat het uiteindelijke antwoord ondersteunt.
  • Door de Editor Verwijderde Voortzetting: Het suffix na de conclusie dat als verwijderbaar is gemarkeerd.
• Diagnostiek van Onzekerheid: De auteurs analyseren entropie op antwoordniveau en Negatieve Log-Likelihood (NLL). Zij observeren dat terwijl behouden redenering de NLL van het antwoord verlaagt, de door de editor verwijderde voortzetting vaak de entropie en NLL van het antwoord verhoogt, wat wijst op verzadiging van antwoordondersteuning gevolgd door onstabiele exploratie.
• Geometrische Diagnostiek: Met behulp van analyse van de verborgen toestand (verplaatsing van de verborgen toestand en voorwaartse voortgang naar de terminale toestand) vinden de auteurs dat de door de editor verwijderde voortzetting een zwakkere toestandbeweging en lagere progressie in de richting van de terminale toestand vertoont in vergelijking met behouden redenering.
• Mismatch tussen Onzekerheid en Geometrie: De kern van de diagnostische bevinding is een mismatch waarbij het suffix na de conclusie lokaal kostbaar blijft (hoge onzekerheid) terwijl het zwakke geometrische voortgang toont.

2. Harmful Continuation Cut (HCC)

Om deze diagnose te operationaliseren zonder tijdens training te vertrouwen op een grote offline editor, stellen de auteurs Harmful Continuation Cut (HCC) voor, een lichtgewicht proxy voor de grens.

• Architectuur: HCC maakt gebruik van een bevroren Qwen2.5-0.5B-Instruct-ruggengraat met een cut-head.
• Mechanisme: Het extrahert zinsniveau-verborgen toestanden en schat gezamenlijk:
  • Een signaal voor lokale onzekerheid (gebaseerd op entropie/NLL-statistieken).
  • Een operationeel progressiesignaal (gebaseerd op beweging van de verborgen toestand).
• Trainingsdoel: Het model wordt getraind om de door de editor geïdentificeerde grens te voorspellen met een combinatie van:
  • Sequentiële latente regularisatie (variational autoencoder-stijl).
  • Verlies voor regressie van onzekerheid en geometrie.
  • Verlies voor grensvoorspelling en classificatie van verwijdering op zinsniveau.
• Doel: HCC benadert de door de editor geïdentificeerde grens van de voortzetting na de conclusie om deze te verwijderen tijdens de voorbereiding van SFT-gegevens.

Belangrijkste Resultaten

1. Interventioneel Bewijs van Schadelijke Voortzetting

De auteurs voeren SFT-experimenten uit op LLaMA3.2-3B en Qwen2.5-Math-7B-ruggengraten met drie gegevensverwerkingsmethoden: Vanilla (origineel), Heuristische truncatie, en Editor-verwerkt (grondwaarheid voor verwijdering).

• Prestatiewinst: Het verwijderen van de door de editor geïdentificeerde voortzetting na de conclusie verbetert consistent de downstream SFT-prestaties op de MATH500-, AMC23- en GSM8K-benchmarks in vergelijking met training op originele traces.
• HCC-Efficiëntie: HCC bereikt prestaties die vergelijkbaar zijn met de referentie van 27B verwerkt door de editor, en in sommige gevallen (bijvoorbeeld LLaMA3.2-3B op MATH500) overtreft deze. Dit toont aan dat een lichtgewicht proxy de voordelen van het bewerken van traces met grote modellen effectief kan herstellen.
• Lengte versus Kwaliteit: HCC-verwerkte traces zijn aanzienlijk korter dan Vanilla-traces, maar presteren beter dan eenvoudige heuristische truncatie, wat suggereert dat de winst te wijten is aan de kwaliteit van de verwijderde inhoud (schadelijke voortzetting) en niet aan louter lengtereductie. Random cut-baselines bevestigen dat willekeurige verkorting de prestaties verslechtert.

2. Post-Training Diagnostiek

Modellen getraind op HCC-verwerkte traces vertonen redeneerdynamiek die consistent is met het verwijderen van schadelijke voortzetting:

• Stabiliteit: Zij behouden een stabiele NLL voor het antwoord en een afnemende segmententropie gedurende de generatie, waardoor de "entropierugslag" die bij Vanilla-modellen wordt waargenomen, wordt vermeden.
• Geometrische Vooruitgang: Zij tonen een sterkere token-genormaliseerde verplaatsing van de verborgen toestand en een verminderde mismatch tussen entropie en voortgang in vergelijking met Vanilla-modellen.

3. Generalisatie en RL-Initialisatie

• Cross-Domein: HCC-gebaseerde SFT verbetert de prestaties op niet-wiskundige MMLU-onderwerpen (bijvoorbeeld biologie, natuurkunde), wat suggereert dat de voordelen van het verwijderen van schadelijke voortzetting kunnen worden overgedragen naar kennisintensieve taken, hoewel de auteurs opmerken dat dit niet bewijst dat het patroon identiek bestaat in niet-mathematische traces.
• Versterkend Leren: Modellen die zijn geïnitieerd met HCC-gebaseerde SFT dienen als sterkere startpunten voor daaropvolgende GRPO (Reinforcement Learning)-training, en presteren consistent beter dan Vanilla-geïnitialiseerde modellen over alle RL-stappen.

Betekenis en Aanspraken

Het artikel claimt de eerste diagnostische blik te bieden op voortzetting na conclusie binnen lange CoT-poren met juiste antwoorden. De primaire bijdragen zijn:

1. Formulering: Het definiëren van een laagwaardige fase in redeneertraces waarbij het antwoord wordt ondersteund maar de generatie doorgaat met hoge onzekerheid en zwakke voortgang.
2. Empirische Validatie: Het aantonen door middel van antwoordbehoudende verwijdering dat deze voortzetting empirisch "schadelijk" is voor SFT-resultaten in de onderzochte settings.
3. Karakterisering: Het identificeren van een mismatch tussen onzekerheid en geometrie als het kenmerk van deze schadelijke fase.
4. Praktisch Hulpmiddel: Het introduceren van HCC, een computerefficiënte proxy (54x goedkoper dan de 27B-editor) die de verwijdering van schadelijke voortzetting benadert, waardoor schaalbare gegevensopruiming voor redeneringsmodellen mogelijk wordt.

De auteurs houden een bescheiden standpunt, verduidelijkend dat het label "schadelijk" empirisch wordt ondersteund door SFT-resultaten en dat de labels van de editor dienen als operationele interventie en niet als grondwaarheid-orakel van intrinsieke schadelijkheid. Het werk richt zich op de specifieke setting van SFT voor lange CoT met juiste antwoorden, waarbij fijnere attributie op componentniveau en bredere toepasbaarheid worden gelaten voor toekomstig werk.