LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models

1. Il Problema: Il Divario Cognizione-Azione

Nonostante le grandi capacità dei Large Language Models (LLM) nel seguire istruzioni complesse, il controllo preciso della lunghezza dell'output rimane una sfida persistente.

• Limitazioni attuali: I modelli esistenti faticano a comprendere concetti di lunghezza del mondo reale (es. "100 parole") a causa della natura tokenizzata e delle limitazioni architetturali.
• Fallimento dei metodi esistenti:
  • I metodi basati su segnali esterni (es. token specifici per la lunghezza) sono intrusivi, aumentano l'overhead di inferenza e faticano a generalizzare.
  • I metodi di ottimizzazione della policy (RL) trattano la lunghezza come un segnale di ricompensa, ma tendono a intrecciare i vincoli di lunghezza con le caratteristiche semantiche. Questo rende difficile controllare la lunghezza indipendentemente dal contenuto, portando a un'efficienza campionaria bassa e a un controllo impreciso.
• La causa radice: Gli autori identificano la mancanza di una cognizione intrinseca della lunghezza (una rappresentazione interna del concetto di "lunghezza") come il collo di bottiglia principale. Senza questa rappresentazione interna, il modello non può decouplare efficacemente la lunghezza dalla semantica.

2. Metodologia: LARFT (Length-Aware Reinforcement Fine-Tuning)

Per colmare il divario tra la "cognizione" (capire la lunghezza) e l'"azione" (generare la lunghezza corretta), gli autori propongono LARFT, un framework di addestramento unificato che integra tre componenti principali:

A. Reinforcement Learning Orientato alla Lunghezza (Length-Oriented RL)

• Utilizza l'algoritmo GRPO (Group Relative Policy Optimization) con una ricompensa verificabile basata sulla lunghezza.
• Funzione di Ricompensa: La ricompensa $R_{len}$ è definita come una funzione lineare a tratti basata sulla deviazione normalizzata tra la lunghezza effettiva dei token generati e la lunghezza target richiesta.
  • $R_{len} = \max(0, 1 - \delta)$, dove $\delta$ è la deviazione relativa.
• Questo guida esplicitamente la policy del modello verso il vincolo target.

B. Consapevolezza della Lunghezza a Posteriori (Hindsight Length Awareness)

Questa è l'innovazione chiave per costruire la cognizione interna.

• Ispirazione: Deriva dal Hindsight Experience Replay, trasformando i tentativi falliti in esperienze di apprendimento valide.
• Meccanismo:
  1. Durante il rollout, i dati generati (anche quelli che non rispettano la lunghezza) vengono salvati in un buffer.
  2. Questi dati vengono ribaltati (relabeling): l'output generato $\tau$ viene concatenato a un prompt di "consapevolezza" (es. "Conta quante parole ci sono nel testo sopra?").
  3. Il modello viene addestrato a prevedere la lunghezza reale del proprio output ($L(\tau)$) partendo da questo nuovo input.
• Obiettivo: Trasformare un problema di esplorazione ad alta varianza in un obiettivo di ottimizzazione supervisionata stabile, costringendo il modello a internalizzare il concetto di lunghezza dai propri stessi output, disaccoppiandolo dalla semantica.

C. Meccanismo di Ottimizzazione Unificata

• Combina la perdita di policy (GRPO) e la perdita di consapevolezza ($L_{aware}$) in un unico obiettivo:
  $$L_{unified} = L_{GRPO} + \lambda_t \cdot L_{aware}$$
• Scheduling Dinamico: Il peso $\lambda_t$ segue un programma di Cosine Annealing.
  • Fase iniziale: $\lambda_t$ è alto per prioritizzare la costruzione della cognizione della lunghezza (imparare a contare e rappresentare la lunghezza).
  • Fase finale: $\lambda_t$ diminuisce verso zero, spostando il focus sull'ottimizzazione della policy per seguire le istruzioni con precisione.

3. Contributi Chiave

1. Identificazione del problema: Dimostrazione che la mancanza di una rappresentazione interna della lunghezza è il limite fondamentale, non solo la mancanza di dati o di ricompense.
2. Framework LARFT: Introduzione di un metodo che allinea la cognizione della lunghezza con l'azione di generazione, utilizzando un ciclo di feedback positivo tra consapevolezza e policy.
3. Validazione Empirica: Dimostrazione che l'addestramento esplicito per la "consapevolezza" (Hindsight) migliora significativamente le capacità di generazione rispetto al solo RL, colmando il divario cognitivo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro modelli base (Qwen2.5-3B/7B, Llama-3.2-3B, Llama-3.1-8B) su tre benchmark di lunghezza (LIFEBench, Lenctrl-Bench, LongBench) e quattro benchmark di capacità generali.

• Prestazioni Superiori: LARFT raggiunge lo stato dell'arte (SOTA) in tutti i compiti di follow-up della lunghezza.
  • Miglioramento medio di +20.92 punti sui benchmark di lunghezza rispetto ai modelli base.
  • Supera il miglior baseline RL puro di +4.59 punti.
  • Riduce drasticamente la deviazione di lunghezza (LD) e massimizza il punteggio di lunghezza (LS).
• Preservazione delle Capacità Generali: L'addestramento specializzato ha un costo trascurabile sulle capacità generali.
  • Miglioramento nella qualità di generazione (+2.22 punti).
  • Calo minimo nelle capacità generali (-1.45 punti in media su MMLU, GSM8K, ecc.), dimostrando che il modello non "dimentica" le sue conoscenze di base.
• Analisi di Meccanismo (Interpretabilità):
  • Pianificazione (Planning): L'analisi dei layer nascosti mostra che la capacità di pianificare la lunghezza emerge nei layer profondi (intorno al layer 10), indicando una funzione cognitiva di alto livello.
  • Consapevolezza (Awareness): La capacità di contare la lunghezza corrente emerge molto presto (layer 2) e persiste, indicando che LARFT ha insegnato al modello una rappresentazione fondamentale e stabile della lunghezza.

5. Significato e Impatto

Il lavoro di LARFT è significativo perché sposta il paradigma dal trattare la lunghezza come un vincolo esterno da imporre a un concetto interno da apprendere.

• Risoluzione del "Cognition-Action Gap": Dimostra che per eseguire compiti complessi (come il controllo della lunghezza), il modello deve prima sviluppare una rappresentazione cognitiva interna del concetto.
• Efficienza: Il metodo è efficiente e scalabile, funzionando bene su modelli di diverse dimensioni senza richiedere architetture complesse o token speciali.
• Applicabilità: Offre una soluzione robusta per scenari reali come la scrittura creativa, la generazione di report e le domande a risposta aperta, dove il rispetto dei vincoli di lunghezza è critico per l'usabilità.

In sintesi, LARFT non si limita a "forzare" il modello a rispettare una lunghezza, ma gli insegna a comprendere e contare la lunghezza, permettendo un controllo preciso e affidabile.