LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models

Probleemstelling: Het Cognitie-Actie Kruispunt

Hoewel Large Language Models (LLMs) uitstekend presteren bij complexe instructies, blijft het nauwkeurig volgen van lengte-instructies (bijv. "schrijf precies 100 woorden") een aanhoudende uitdaging. Bestaande methoden proberen dit probleem op te lossen door:

1. Externe lengtemerkers toe te voegen (bijv. speciale tokens), wat vaak leidt tot inflexibiliteit en extra inferentie-overhead.
2. Beleidsoptimalisatie (Reinforcement Learning) waarbij lengte wordt behandeld als een beloningssignaal. Dit leidt echter tot een verstrengeling van semantische inhoud en lengte in de representatieruimte, waardoor het moeilijk is om de lengte onafhankelijk van de inhoud te controleren.

De auteurs identificeren de kernoorzaak als een intrinsic deficit in lengtecognitie: modellen missen een interne, distincte representatie van het concept "lengte". Zonder deze cognitieve basis is het optimaliseren van lengte-instructies een slecht gesteld probleem, wat resulteert in outputs die ofwel te kort zijn of te langdradig.

Methodologie: LARFT Framework

De auteurs stellen LARFT (Length-Aware Reinforcement Fine-Tuning) voor, een unificerend trainingsframework dat de kloof tussen "weten" (cognitie) en "doen" (actie) dicht. Het framework bestaat uit drie kerncomponenten:

1. Lengte-gerichte Versterkingsleer (Length-Oriented RL)

• Doel: Het model direct sturen naar de gewenste lengte via een verifieerbare beloning.
• Implementatie: Gebruik van GRPO (Group Relative Policy Optimization).
• Beloningsfunctie: Een stuksgewijs lineaire functie die de genormaliseerde absolute afwijking ($\delta$) tussen de gegenereerde lengte en de doelstelling berekent. De beloning is $1 - \delta$ (binnen [0, 1]), wat een stabiel en dicht signaal biedt voor de optimalisatie.

2. Hindsight Lengte-bewustzijn (Hindsight Length Awareness)

• Inspiratie: Geïnspireerd op Hindsight Experience Replay.
• Mechanisme: In plaats van alleen te focussen op het genereren van de juiste tekst, wordt het model getraind om de lengte van zijn eigen gegenereerde output te herkennen en te tellen.
• Proces:
  1. Genereerde trajecten (zelfs die met een verkeerde lengte) worden opgeslagen in een replay buffer.
  2. Deze outputs worden omgezet in een "bewustzijnstask": de input wordt de gegenereerde tekst + een instructie zoals "Tel het aantal woorden in de bovenstaande tekst".
  3. Het model leert de daadwerkelijke lengte te voorspellen.
• Effect: Dit ontkoppelt lengte-informatie van semantische inhoud en zorgt ervoor dat het model een interne representatie van lengte ontwikkelt, zelfs uit "mislukte" generaties.

3. Unified Optimization Mechanism (Gecombineerde Optimalisatie)

• Doel: Balans tussen het leren van lengtebewustzijn en het uitvoeren van de instructie.
• Verliesfunctie: Een gecombineerde loss: $L_{unified} = L_{GRPO} + \lambda_t \cdot L_{aware}$.
• Dynamische Weegfactor ($\lambda_t$): Er wordt een Cosine Annealing schema gebruikt.
  • Vroege fase: Hoog gewicht op lengtebewustzijn ($\lambda_t \approx \lambda_{max}$) om de interne representatie te vestigen.
  • Late fase: Het gewicht daalt naar 0, waardoor de focus verschuift naar het maximaliseren van de beloning voor precieze instructie-opvolging.

Belangrijkste Bijdragen

1. Identificatie van de Bottleneck: De auteurs tonen aan dat het ontbreken van intrinsieke lengtecognitie de hoofdoorzaak is van falen bij lengte-instructies, en niet alleen een tekort aan trainingsdata.
2. LARFT Framework: Een uniek framework dat versterkingsleer combineert met een "hindsight" mechanisme om zowel cognitie als actie te synchroniseren.
3. Empirische Validatie: Uitgebreide experimenten op vier verschillende basismodellen (Qwen2.5 en Llama-3 series) tonen aan dat LARFT de staat van de kunst (SOTA) bereikt.

Resultaten

De resultaten tonen een significante verbetering ten opzichte van bestaande baselines (zoals SFT, pure RL, Ruler, en PositionID):

• Prestatieverbetering: LARFT behaalt een gemiddelde verbetering van +20,92 punten op drie lengte-instructie benchmarks (LIFEBench, LongBench, Lenctrl-Bench).
• Vergelijking met SOTA: Het overtreft de sterkste RL-baseline met 4,59 punten.
• Algemene Capabiliteiten: De specialisatie heeft een verwaarloosbaar effect op de algemene prestaties. Er is slechts een minimale daling van -1,45 punten op algemene benchmarks (MMLU, GSM8k, IFEval, GPQA), en zelfs een lichte verbetering in generatiekwaliteit (+2,22 punten).
• Ablatiestudies:
  • Zonder het "Hindsight Awareness" component presteert het model slechter, wat bevestigt dat cognitie essentieel is voor actie.
  • De dynamische scheduling (Cosine Annealing) is cruciaal; zonder deze daalt de prestatie aanzienlijk.
• Interpreteerbaarheid: "Probing"-experimenten tonen aan dat LARFT-modellen lengteplanning in diepere lagen (rondlaag 10) en lengtebewustzijn in lagere lagen (vanaf laag 2) effectief internaliseren.

Betekenis en Impact

LARFT biedt een fundamentele oplossing voor een langdurig probleem in de NLP-wereld. Door de kloof tussen het begrijpen van lengte en het toepassen ervan te dichten, stelt het framework modellen in staat om flexibele en precieze lengtebeperkingen te hanteren zonder in te boeten op hun algemene intelligentie of redeneervermogen. Dit is van groot belang voor toepassingen zoals creatief schrijven, rapportagegeneratie en contextbeheer, waar exacte lengtecontrole vaak vereist is. De methode is schaalbaar en toont aan dat het internaliseren van abstracte concepten (zoals lengte) via zelfreflectie een krachtige trainingsstrategie is.