Riepilogo Tecnico: CRANE – Iniezione di Ragionamento Vincolato per Agenti di Codice tramite Editing dello Spazio Nullo

1. Enunciato del Problema

Gli agenti di codice moderni devono soddisfare un duplice requisito: necessitano di capacità di ragionamento sofisticate (pianificazione, integrazione del contesto e recupero dagli errori) per risolvere compiti software complessi, eppure devono attenersi rigorosamente ai protocolli di utilizzo degli strumenti (output concisi, formattazione corretta degli schemi e tempistica disciplinata degli strumenti) per interagire efficacemente con gli ambienti di esecuzione.

Osservazioni recenti indicano un disallineamento tra checkpoint di modelli accoppiati:

• Modelli Instruct: Sono concisi e disciplinati nell'uso degli strumenti, ma spesso mancano di comportamenti di pianificazione profonda o di recupero, portando a modifiche premature o a loop.
• Modelli Thinking: Mostrano un ragionamento e un recupero più forti, ma spesso "deliberano eccessivamente", consumando token eccessivi e degradando le prestazioni violando i protocolli degli strumenti o fallendo nell'agire.

Le tecniche esistenti di fusione dei modelli (ad esempio, Task Arithmetic, TIES, SLERP) trattano tipicamente la fusione come una fusione simmetrica degli estremi. Non sono progettate per l'ambiente asimmetrico degli agenti di codice, dove l'obiettivo è iniettare specifici comportamenti di ragionamento da un modello "Thinking" in un backbone "Instruct", preservando rigorosamente l'interfaccia degli strumenti distribuita dal modello Instruct. Una fusione ingenua danneggia spesso la fedeltà del protocollo richiesta per l'esecuzione riuscita dell'agente.

2. Metodologia: CRANE

CRANE (Constrained Reasoning Injection for Code Agents via Nullspace Editing) è un metodo di editing dei parametri senza addestramento che tratta il vettore di differenza tra i checkpoint Thinking e Instruct ($\delta = \theta_{\text{think}} - \theta_{\text{inst}}$) come un pool direzionale di potenziali modifiche di ragionamento. Adotta una pipeline a tre stadi per iniettare selettivamente queste modifiche preservando il comportamento dell'agente:

Stadio 1: Soglia di Magnitudine (Denoising)

Il delta grezzo $\delta$ contiene sia segnali di ragionamento utili che rumore. CRANE applica una regola di sparsificazione conservativa per rimuovere le coordinate a bassa confidenza.

• Meccanismo: Viene applicata una soglia deterministica basata sulla mediana delle magnitudini. Le coordinate con magnitudini inferiori alla mediana di $|\delta|$ vengono azzerate.
• Ridimensionamento: Le voci non nulle rimanenti vengono scalate di un fattore di 2 per preservare approssimativamente la scala complessiva dell'aggiornamento.
• Obiettivo: Scartare il rumore a bassa magnitudine che potrebbe perturbare l'interfaccia dell'agente senza contribuire a un ragionamento significativo.

Stadio 2: Cancello Taylor Conservativo (CTG)

Questo stadio determina la forza di iniezione per ogni blocco di parametri (strato e componente) valutando se una specifica direzione di modifica è benefica sia per il trasferimento del ragionamento sia per la preservazione dell'uso degli strumenti.

• Calibrazione: Vengono definite due funzioni di perdita mascherate utilizzando piccoli set di calibrazione:
  • $L_R$ (Ragionamento): Misura le prestazioni su prompt di ragionamento sul codice generati dal modello Thinking.
  • $L_A$ (Comportamento dell'Agente): Misura le prestazioni su prompt di utilizzo degli strumenti generati dal modello Instruct.
• Punteggio: Per ogni coordinata $j$, il punteggio di miglioramento del primo ordine è calcolato come $s_K(j) = -g_{K,j}\delta_j$, dove $g_K$ è il gradiente della perdita.
• Logica del Cancello: Una coordinata riceve un peso positivo solo se la modifica è una direzione di discesa per entrambe le perdite simultaneamente:
  $$p_j = [\min\{s_R(j), s_A(j)\}]_+$$
• Aggregazione: I pesi sono aggregati per blocco e normalizzati rispetto a un blocco di riferimento FFN/expert per determinare il coefficiente di scalatura finale $S_{\text{CTG}}(c, l)$.

Stadio 3: Proiezione Sigmoide Graduale (GSP)

Anche le modifiche benefiche possono interrompere token di formato critici (ad esempio, delimitatori degli strumenti, schemi JSON, template di chat). Questo stadio sopprime gli aggiornamenti nello spazio sottomesso "critico per il formato".

• Raccolta delle Attivazioni: Gli stati nascosti vengono raccolti dal modello Instruct su tracce critiche per il formato (token che controllano le chiamate agli strumenti e gli schemi).
• Proiezione SVD: Viene eseguita una Decomposizione ai Valori Singolari (SVD) sulla matrice delle attivazioni. Le direzioni con alti valori singolari corrispondono a direzioni di input che influenzano fortemente le uscite critiche per il formato.
• Mascheramento Soft: Invece di una proiezione rigida nello spazio nullo, viene applicata una maschera sigmoidea nello spazio dei valori singolari. Le direzioni con alta ampiezza (critiche per il formato) sono attenuate significativamente, mentre le direzioni a bassa ampiezza sono preservate. Questo garantisce una transizione fluida piuttosto che un taglio discontinuo.

Il modello fuso finale è calcolato come:
$$\theta_{\text{merged}} = \theta_{\text{inst}} + \Pi_{\text{GSP}} \left( \alpha \cdot S_{\text{CTG}} \cdot T(\delta) \right)$$

3. Contributi Chiave

1. Formulazione della Fusione Direzionale: Un approccio innovativo alla fusione dei modelli per coppie di modelli Instruct/Thinking, che tratta il delta come un pool di modifiche candidate piuttosto che come un obiettivo simmetrico, condizionato a specifici comportamenti dell'agente.
2. Ricetta CRANE: Una pipeline a tre stadi, senza addestramento, che combina l'estrazione di delta sparsi, il Cancello Taylor Conservativo consapevole dell'uso degli strumenti e la Proiezione Sigmoide Graduale che preserva il formato.
3. Valutazione Empirica: Una valutazione completa su tre benchmark (Roo-Eval, SWE-bench-Verified, Terminal-Bench v2) e due scale di modelli (Qwen3-30B-A3B e Qwen3-Next-80B-A3B).
4. Studi di Ablazione: Analisi che conferma che ogni componente (sparsificatore, cancello Taylor, proiezione) è necessario per il compromesso prestazioni-costi osservato.

4. Risultati Sperimentali

CRANE supera costantemente sia gli estremi individuali sia le baseline di fusione standard (Task Arithmetic, TIES, SLERP, AIM, LEWIS, RAIN) su tutti i benchmark, mantenendo l'efficienza.

• Roo-Eval (codifica basata su IDE):

  • Scala 30B: Ha raggiunto un 66,2% di pass@1, un guadagno del +19,5% rispetto alla baseline Instruct (46,7%) e del +19,0% rispetto alla migliore fusione alternativa.
  • Scala 80B: Ha raggiunto un 81,5% di pass@1, un guadagno del +8,7% rispetto a Instruct.
  • Efficienza: CRANE ha raggiunto questi guadagni con un Totale Token Count (TTC) inferiore rispetto alla baseline Instruct, riducendo l'uso di token di circa 60 milioni a 30B.

• SWE-bench-Verified (problemi a livello di repository):

  • Scala 30B: Ha risolto 122/500 istanze, superando la baseline Instruct (108) e la migliore baseline di fusione (113).
  • Scala 80B: Ha risolto 180/500 istanze, superando Instruct (168) e tutte le altre baseline.
  • Efficienza: CRANE ha risolto più istanze con costi aggregati di token inferiori rispetto alle baseline.

• Terminal-Bench v2 (flussi di lavoro Shell/Riga di comando):

  • Scala 30B: Ha migliorato il pass@1 al 7,6% (vs 4,8% Instruct) e il pass@5 al 17,9%.
  • Scala 80B: Ha migliorato il pass@1 al 14,8% e il pass@5 al 30,3%.
  • Efficienza: CRANE ha ridotto significativamente il tempo reale (ad esempio, 1h 58m vs 2h 28m per Instruct a 80B) mantenendo alti tassi di successo.

Risultati degli Studi di Ablazione: La rimozione di qualsiasi singolo componente (Soglia di Magnitudine, Cancello Taylor o GSP) ha portato a cali significativi delle prestazioni. In particolare, la rimozione del GSP ha causato il calo più grande nei tassi di successo, evidenziando l'importanza critica della preservazione delle direzioni critiche per il formato.

5. Significato e Affermazioni

Il documento afferma che CRANE affronta con successo la natura "complementare ma disallineata" dei checkpoint Instruct e Thinking negli agenti di codice. Trattando la fusione come un problema di editing direzionale condizionato al comportamento piuttosto che come una fusione generica, CRANE inietta le capacità di pianificazione e recupero dei modelli Thinking senza sacrificare la disciplina degli strumenti e l'efficienza dei modelli Instruct.

Gli autori sottolineano che questi guadagni non sono ottenuti aumentando i budget di token o le estensioni più lunghe; anzi, CRANE spesso ottiene risultati superiori con meno token e tempi reali più brevi. Il metodo fornisce una via pratica e senza addestramento per migliorare le prestazioni degli agenti sfruttando i punti di forza dei modelli di ragionamento, aderendo rigorosamente ai vincoli dei protocolli degli agenti distribuiti.

Limitazioni Riconosciute:

• Il metodo assume che il checkpoint Thinking fornisca un ragionamento utile e che il checkpoint Instruct fornisca un'interfaccia utile; se i modelli futuri eccellono già in entrambi, fusioni più semplici potrebbero essere sufficienti.
• I set di calibrazione devono coprire la superficie degli strumenti distribuiti; un significativo spostamento negli strumenti o nella formattazione richiederebbe una ricalibrazione.
• La costruzione del proiettore GSP richiede passaggi in avanti su tracce di formato, che possono essere computazionalmente costosi per modelli molto grandi.
• Le prestazioni su determinati linguaggi (Java, Rust) rimangono inferiori rispetto a Python/JS/Go, suggerendo asimmetrie di addestramento sottostanti nei modelli di base piuttosto che un fallimento del metodo di fusione stesso.