Mid-Think: Training-Free Intermediate-Budget Reasoning via Token-Level Triggers

il tag) attira la massima attenzione dai token successivi, agendo efficacemente come un interruttore per attivare il ragionamento.

• Il Trigger del Newline: In modalità "No-Think", il pattern di newline (\n\n) che segue il tag </think> assorbe la maggior parte dell'attenzione, sopprimendo il comportamento di ragionamento.
• Fenomeno di Overfitting: Gli autori osservano che i modelli di ragionamento e i loro dataset di addestramento (ad es. OpenR1-Math) mostrano un "overfitting" verso questi pattern di apertura unificati (ad es. iniziare i pensieri con "Okay"). Ciò suggerisce che i modelli si affidano a questi token come interruttori rigidi piuttosto che interpretare istruzioni semantiche.

2.2 Mid-Think: Un Formato di Prompting Senza Addestramento

Sfruttando queste osservazioni, gli autori propongono il Mid-Think, un formato di prompting che combina i segnali di attivazione e di soppressione per indurre un regime di ragionamento intermedio senza alcun riaddestramento del modello.

Il formato proposto è:
...</think>\n\n<reason>\nOkay...

• Meccanismo: Il formato integra esplicitamente il pattern </think>\n\n (che sopprime il ragionamento) con il token Okay (che attiva il ragionamento). Il tag <reason> (o alternative come <begin>, <less think>) funge da delimitatore strutturale per il contenuto del pensiero.
• Effetto: Questa combinazione crea un "conflitto" o un equilibrio tra i due segnali, inducendo il modello a generare una traccia di ragionamento che è più breve della modalità standard "Think", ma più robusta della modalità "No-Think".

2.3 Applicazione all'Addestramento RL

Gli autori applicano ulteriormente il formato Mid-Think come obiettivo di addestramento nel Reinforcement Learning (RL) a seguito del Supervised Fine-Tuning (SFT). Addestrando i modelli a generare risposte sotto il formato Mid-Think, mirano a:

• Ridurre la lunghezza delle sequenze di ragionamento durante la fase di ottimizzazione RL.
• Aumentare l'entropia della policy durante l'addestramento (prevenendo il collasso precoce in pattern fissi).
• Migliorare la capacità del modello finale di bilanciare profondità di ragionamento ed efficienza.

3. Risultati Chiave

3.1 Controllo al Momento dell'Inferenza (Senza Addestramento)

Valutato su MATH500, AIME e GPQA attraverso vari modelli (Qwen3-8B/14B/32B, DeepSeek-R1-Distill, Phi-4):

• Ottimalità di Pareto: Mid-Think raggiunge costantemente prestazioni che si collocano sulla o oltre la frontiera di Pareto del compromesso accuratezza-lunghezza. Supera i baseline a budget di token fissi e i metodi basati su prompt.
• Prestazioni: Su MATH500, Mid-Think raggiunge un'accuratezza comparabile alle modalità "Think" ad alto budget (ad es. 92% rispetto a 94% per Qwen3-14B) ma con lunghezze di generazione significativamente ridotte (2.589 token rispetto a ~4.904 token).
• Generalizzazione: Il metodo si generalizza su diverse famiglie di modelli (Llama, Qwen, Phi) e architetture (Dense, MoE), a condizione che il token trigger corrisponda al template di addestramento del modello (ad es. usare "We" invece di "Okay" per i modelli addestrati su "We need...").
• Versatilità del Task: L'approccio si estende oltre la matematica ai task di coding (LiveCodeBench), mantenendo un rapporto accuratezza-lunghezza superiore.

3.2 Efficienza e Prestazioni dell'Addestramento RL

Quando applicato all'addestramento RL (usando GRPO) su Qwen3-4B e Qwen3-8B:

• Efficienza dell'Addestramento: Mid-Think riduce il tempo di addestramento RL di circa il 15% (ad es. da 54 ore a 46 ore per Qwen3-8B) rispetto all'addestramento standard in modalità "Think", grazie alle sequenze di ragionamento più brevi generate durante l'ottimizzazione.
• Dinamiche di Entropia: L'addestramento Mid-Think mantiene un'entropia più elevata durante il processo di addestramento rispetto alla modalità "Think" standard, che tende a collassare rapidamente in regimi a bassa entropia.
• Prestazioni Finali: I modelli addestrati con Mid-Think raggiungono un'accuratezza superiore nelle valutazioni in modalità "Think" rispetto a quelli addestrati con le modalità standard "Think" o "No-Think".
  • AIME: Qwen3-8B è migliorato dal 69,8% (RL standard) al 72,4%.
  • GPQA: Qwen3-8B è migliorato dal 58,5% al 61,1%.
• Bilanciamento Comportamentale: A differenza dell'addestramento "No-Think" che spesso degrada le prestazioni della modalità "Think", i modelli addestrati con Mid-Think preservano l'efficienza mantenendo forti capacità di ragionamento.

4. Significato e Rivendicazioni

L'articolo sostiene che i comportamenti di ragionamento ibridi nei grandi modelli linguistici sono ampiamente governati da pochi trigger a livello di token piuttosto che da complesse istruzioni semantiche. Sulla base di ciò, la significatività del lavoro è triplice:

1. Scoperta del Meccanismo: Rivela che le modalità di ragionamento possono essere manipolate tramite specifici indizi lessicali ("Okay" vs \n\n), offrendo una lente leggera per comprendere il comportamento del modello.
2. Inferenza Efficiente: Mid-Think fornisce un meccanismo senza addestramento per ottenere un ragionamento con budget intermedio, offrendo un controllo più affidabile e granulare sul compromesso accuratezza-efficienza rispetto ai baseline esistenti.
3. Miglioramento dell'Addestramento RL: Integrando questi trigger nell'obiettivo RL, il metodo accelera l'addestramento e produce modelli con comportamenti di ragionamento meglio bilanciati, suggerendo che controllare il "budget" durante l'addestramento è una strategia valida per migliorare le prestazioni finali del modello.

Gli autori segnalano dei limiti, specificamente che Mid-Think non offre un controllo completamente dinamico su livelli di budget arbitrari (ad es. rapporti precisi di 0,1 o 0,7) e dipende dall'esistenza pregressa di comportamenti di overfitting a livello di token nei dati di addestramento del modello.