🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Questo articolo introduce CalibForge, un sistema autonomo che sintetizza compiti di addestramento terminale efficaci utilizzando la calibrazione di un risolutore avversario per identificare una "zona apprendibile" in cui i compiti sono risolvibili ma impegnativi, ottenendo guadagni di prestazioni significativi in molteplici benchmark di agenti rispetto ai metodi tradizionali di cura dei dati.

Autori originali: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Pubblicato 2026-08-07

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come riparare le cose in un laboratorio digitale. Gli dai una cassetta degli attrezzi e una lista di lavori, ma c'è un trucco: se il lavoro è troppo facile, il robot si annoia e non impara nulla; se è troppo difficile, il robot si arrende immediatamente e non impara nulla. Il punto ideale per l'apprendimento è una sfida "Goldilocks" (il giusto mezzo): qualcosa che il robot può risolvere se ci pensa davvero bene, ma che fallirebbe se fosse disattento o confuso. Questo è il cuore del puzzle dell'addestramento degli agenti IA: come creare una vasta libreria di compiti che siano perfettamente calibrati su questa zona di apprendimento?

Per molto tempo, i ricercatori hanno cercato di costruire queste librerie di compiti assicurandosi semplicemente che i compiti potessero essere eseguiti ("eseguibili") e che avessero una risposta chiara, giusta o sbagliata. Ma il solo fatto che un compito possa essere risolto non significa che sia un buon insegnante. Un compito potrebbe essere così semplice che qualsiasi robot lo risolve istantaneamente, o così rotto che nessun robot può mai risolverlo. La grande domanda è: come troviamo i compiti che sono abbastanza difficili da rendere il robot più intelligente?

È qui che entra in gioco un nuovo sistema chiamato CalibForge. Pensa a Calibforge non come a un generatore di compiti, ma come a un malizioso game master che gioca a giochi "avversari" con il robot. Invece di limitarsi a controllare se un compito funziona, CalibForge assume una squadra di diversi robot "solver" (alcuni molto intelligenti, altri un po' più stupidi) per provare il compito. Se il robot intelligente lo risolve ma quello stupido fallisce, il compito è perfetto — è nella zona di apprendimento! Se tutti lo risolvono, il compito è troppo facile, quindi CalibForge lo rende più difficile. Se tutti falliscono, il compito è rotto, quindi CalibForge lo ripara. Modificando costantemente i compiti in base alla reazione di questi diversi robot, CalibForge costruisce una vasta libreria di 5.431 sfide perfettamente calibrate. Quando nuovi robot vengono addestrati su questa libreria, diventano significativamente più bravi a risolvere problemi informatici reali, dimostrando che la zona "Goldilocks" è la formula segreta per insegnare all'IA.

Il Problema: Troppo Facile, Troppo Difficile o Giusto Così?

Nel mondo dell'Intelligenza Artificiale, specificamente per gli "agenti terminali" (robot che digitano comandi in un terminale per correggere codice o gestire server), i ricercatori hanno costruito enormi librerie di problemi di pratica. L'obiettivo è addestrare questi agenti a gestire complessi compiti di ingegneria del mondo reale. Tuttavia, c'è un difetto nel modo in cui questi problemi vengono solitamente creati.

La maggior parte dei sistemi controlla solo due cose:

Si può fare? (L'ambiente informatico è configurato correttamente?)
C'è una risposta giusta? (Il compito ha un test chiaro di successo o fallimento?)

Ma questo è come dare a uno studente un test di matematica dove ogni domanda è o "Quanto fa 2+2?" (troppo facile) o "Risolvi questa equazione che non è ancora stata inventata" (impossibile). Nessuna delle due aiuta lo studente a imparare. L'articolo sostiene che abbiamo bisogno di compiti che siano apprendibili rispetto al solver (solver-relative learnable). Ciò significa che un compito dovrebbe essere risolvibile da un agente capace, ma non risolvibile da uno più debole. Deve trovarsi proprio sul limite delle capacità dell'agente, costringendolo a sforzare il cervello per riuscire.

La Soluzione: Il Game Master Avversario

Gli autori hanno creato CalibForge, un sistema autonomo che agisce come un implacabile game master. Non si limita a scrivere compiti; li calibra usando un processo chiamato Calibrazione del Solver Avversario.

Ecco come avviene la magia, passo dopo passo:

L'Indizio: CalibForge parte da un'idea vaga, come "riparare un database guasto" o "recuperare dati persi".
La Bozza: Un "Agente Autore" (un'IA intelligente) scrive un compito completo, incluse le istruzioni, un ambiente informatico virtuale e un test per vedere se il lavoro è stato svolto.
Il Test di Stress: Prima che il compito venga conservato, CalibForge lo invia a un panel di "Agenti Solver" per provare a risolverlo.
Il Ciclo di Calibrazione: Questo è il segreto. CalibForge usa due strategie specifiche per decidere se un compito è abbastanza buono:
- Calibrazione Multi-Solver: Invia il compito a un gruppo di diversi modelli di IA. Se tutti risolvono il compito, il compito è troppo facile, quindi CalibForge lo rende più difficile. Se nessuno lo risolve, il compito è rotto, quindi CalibForge lo ripara. Il compito viene conservato solo se c'è un disaccordo: almeno un solver ha successo mentre almeno un altro fallisce. Questo dimostra che il compito è nella "zona di apprendimento".
- Calibrazione Contrastiva: Invia il compito a un "Strong Solver" (un'IA molto intelligente) e a un "Weak Solver" (un'IA meno capace). Il compito viene conservato solo se lo Strong Solver passa e il Weak Solver fallisce. Ciò assicura che il compito sia abbastanza difficile da sfidare quello intelligente, ma non così difficile da essere impossibile.

Se un compito non soddisfa questi criteri rigorosi, CalibForge non si limita a scartarlo. Analizza perché i solver sono falliti o hanno avuto successo, poi torna indietro e riscrive le istruzioni, l'ambiente o i test. Ripete questo ciclo fino a 50 volte finché il compito non è perfettamente calibrato.

I Risultati: Una Libreria di Sfide Perfette

Utilizzando questo metodo, CalibForge ha costruito un dataset di 5.431 compiti terminali altamente calibrati. I ricercatori hanno poi addestrato due diversi modelli di IA (un modello da 30 miliardi di parametri e uno da 35 miliardi di parametri) su questi dati.

I risultati sono stati impressionanti. I modelli addestrati sui compiti di CalibForge hanno superato significativamente i modelli addestrati su altri dataset esistenti:

Su Terminal-Bench 2.0 (un test standard per agenti terminali), i modelli hanno ottenuto punteggi del 32,58% e del 47,57%, superando di gran lunga i risultati precedenti.
I miglioramenti non riguardavano solo i dati di addestramento. Quando testati su sfide completamente diverse del mondo reale dell'ingegneria del software (SWE-bench Pro e Doc2Repo), i modelli hanno mostrato guadagni massicci, migliorando rispettivamente del 27,68 e del 30,04 punti percentuali rispetto alle loro versioni base.

Perché Questo è Importante

L'articolo suggerisce che la chiave per costruire migliori agenti IA non è solo dare loro più dati, ma dare loro il tipo giusto di dati. Usando il comportamento di diversi solver come ciclo di feedback, CalibForge assicura che ogni compito nella libreria sia una vera opportunità di apprendimento.

Gli autori dimostrano esplicitamente che non basta semplicemente aggiungere più feedback dal solver o usare un singolo solver per controllare i compiti. L'effetto "Goldilocks" — dove un compito è difficile per alcuni ma facile per altri — è ciò che guida l'apprendimento. Questo approccio trasforma il processo di creazione dei compiti da un metodo statico di "scrivi e spera" a un sistema dinamico e autocorrettivo che cerca attivamente il livello perfetto di difficoltà.

In breve, CalibForge dimosta che se vuoi addestrare un robot super intelligente, non dovresti solo dargli una pila di compiti. Dovresti dargli una pila di compiti che siano perfettamente calibrati per farlo pensare, lottare e, infine, avere successo.

Sintesi Tecnica: CalibForge: Calibrazione Avversaria di Solver per la Scalabilità di Compiti Terminali Apprendibili

Definizione del Problema

L'addestramento di agenti terminali richiede compiti eseguibili e verificabili che non siano semplicemente risolvibili, ma appropriatamente impegnativi per l'apprendimento. Sebbene i sistemi di sintesi esistenti abbiano fatto progressi nella costruzione di compiti terminali su scala, la sola validità eseguibile non rivela se un compito sia banale, efficacementmente irrisolvibile o situato in una "zona apprendibile" rispetto a un determinato setting di solver. I metodi attuali spesso si affidano alla sola autoria e validazione o al feedback di un singolo solver, il che non riesce a catturare le sfumature comportamentali necessarie per guidare la costruzione dei compiti verso dati di addestramento efficaci. La sfida centrale è determinare come il comportamento del solver (successi, fallimenti e traiettorie) possa essere utilizzato sistematicamente per rivedere i compiti candidati, al fine di garantire che non siano né troppo facili né troppo difficili per il regime di apprendimento target.

Metodologia: CalibForge

Gli autori presentano CalibForge, un sistema autonomo di sintesi di compiti terminali che tratta la costruzione del compito come un ciclo avversario autore-solver vincolato. Il sistema utilizza il comportamento verificato del solver come feedback durante la costruzione per rivedere i compiti candidati attraverso la calibrazione avversaria del solver.

1. Autoria e Validazione del Compito

Partendo da un "indizio" (clue), un agente autore (DeepSeek-V4-Pro) conduce ricerche sul web per identificare problemi ingegneristici concreti (ad esempio, bug specifici per versione, conflitti di dipendenze). Costruisce un compito candidato $\tau$ composto da:

Istruzione: La descrizione del compito.
Ambiente: Definito da un Dockerfile e file iniziali.
Verifica: Test per validare la soluzione.

Prima di entrare nel ciclo di calibrazione, i candidati sono sottoposti a una validazione in due fasi:

Validazione Strutturale: Controlla i file del contesto di build, l'inizializzazione dell'ambiente e assicura che tutti i test falliscano nello stato iniziale.
Auto-Risoluzione (Self-Solving): L'agente autore tenta di risolvere il compito in un sandbox isolato per garantire che la soluzione sia eseguibile e coerente con l'istruzione e i test.

2. Calibrazione Avversaria del Solver

I candidati validi entrano in un ciclo di calibrazione multi-round governato da una specifica $\gamma$ . In ogni round, i solver tentano il compito e l'agente autore utilizza gli esiti e le intere traiettorie di interazione per rivedere il compito. Il ciclo termina quando viene soddisfatto un criterio di ritenzione $C_\gamma$ o dopo un numero massimo di round ( $R_{max}=50$ ). CalibForge impiega due distinte strategie di calibrazione:

Calibrazione Multi-Solver: Mira al disaccordo all'interno di un pool eterogeneo di solver (ad esempio, DeepSeek-V4-Flash, GLM-5, Kimi K2.5).
- Criterio: Trattenere il compito se almeno un solver ha successo e almeno un altro fallisce ( $0 < \sum y_i < K$ ).
- Obiettivo: Catturare una gamma più ampia di percorsi di soluzione e modalità di fallimento, riducendo la dipendenza dalle capacità di un singolo solver.
Calibrazione Contrastiva del Solver: Mira a una relazione strong-pass/weak-fail (successo forte/fallimento debole) designata.
- Criterio: Trattenere il compito se un solver designato più forte (DeepSeek-V4-Pro) ha successo e un solver designato più debole (DeepSeek-V4-Flash) fallisce ( $y_s=1 \land y_w=0$ ).
- Obiettivo: Operazionalizzare una zona apprendibile relativa al solver in cui il compito è dimostrabilmente risolvibile ma non in modo banale sotto le impostazioni specificate.

Se il criterio non viene soddisfatto, l'agente autore utilizza riepiloghi di feedback (passaggio/fallimento, conteggio dei passi, auto-valutazione, diagnosi del fallimento) e intere traiettorie per rivedere il compito (ad esempio, rimuovendo suggerimenti procedurali, chiarendo requisiti ambigui o generalizzando verificatori eccessivamente prescrittivi) prima di procedere con un nuovo test.

Contributi Chiave

Calibrazione Comportamentale a Livello di Ambiente: Il documento formula un principio di costruzione in cui l'apprendibilità del compito è trattata come relativa al solver. Utilizza il comportamento verificato del solver non solo per la valutazione, ma per determinare la ritenzione e guidare la revisione multi-round.
Sistema CalibForge: Un sistema di sintesi autonomo che implementa il principio sopra descritto tramite un ciclo avversario vincolato. Introduce le strategie di calibrazione Multi-Solver e Contrastive Solver per mirare rispettivamente al disaccordo tra diversi solver e alle relazioni strong-pass/weak-fail.
Dataset Calibrato: La costruzione di 5.431 compiti terminali calibrati (1.263 tramite calibrazione multi-solver, 4.168 tramite calibrazione contrastiva). Questi compiti coprono 16 categorie di dominio, con un focus su ingegneria del software, amministrazione di sistema e calcolo scientifico, offrendo una copertura di dominio più ampia rispetto ai dataset precedenti.

Risultati Sperimentali

Gli autori hanno effettuato il fine-tuning di due backbone Qwen (Qwen3-30B-A3B-Instruct e Qwen3.5-35B-A3B) sulle traiettorie distillate dal dataset CalibForge e li hanno valutati contro i baseline (Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj) utilizzando un protocollo di addestramento e distillazione coordinato.

Prestazioni sui Benchmark

Terminal-Bench 2.0:
- CalibForge-30B-A3B ha raggiunto il 32,58% di accuratezza (rispetto al 26,22% del miglior baseline, TerminalTraj).
- CalibForge-35B-A3B ha raggiunto il 47,57% di accuratezza (rispetto al 40,82% di TerminalTraj).
- I miglioramenti rispetto ai modelli base hanno raggiunto rispettivamente 24,71 e 8,47 punti percentuali.
Trasferimento Out-of-Distribution (OOD):
- SWE-bench Pro: CalibForge-35B-A3B ha raggiunto il 44,32% (Resolved Rate), un miglioramento di 3,03 punti rispetto al suo modello base e il più alto tra i dati sorgente valutati.
- Doc2Repo: CalibForge-35B-A3B ha raggiunto il 48,77% (Pass Rate), un miglioramento di 3,85 punti rispetto al suo modello base.

Studi di Ablazione

Feedback del Solver vs. Calibrazione: La versione "No Solver" (solo autoria + validazione) ha prodotto un'accuratezza del 22,47%. Il feedback "Single Solver" ha migliorato questo dato portandolo al 24,34%. Tuttavia, la calibrazione Multi-Solver e quella Contrastiva hanno raggiunto rispettivamente il 29,21% e il 31,09%. Ciò indica che i guadagni sono guidati dalla strategia di calibrazione (individuare la difficoltà relativa alle impostazioni del solver) piuttosto che dal semplice aggiunta di feedback del solver o dall'aumento del volume delle traiettorie.
Efficacia della Revisione: Nella calibrazione contrastiva, solo il 19% dei candidati soddisfaceva inizialmente la relazione target strong-pass/weak-fail dopo la validazione strutturale. Attraverso la revisione guidata dal feedback e il nuovo test, il 96% dei candidati è stato infine trattenuto, dimostrando che molti disallineamenti iniziali sono correggibili piuttosto che difetti intrinseci.

Significato e Rivendicazioni

Il documento sostiene che la apprendibilità relativa al solver sia un obiettivo pratico ed efficace per la costruzione di dati di addestramento per agenti. Trattando la costruzione del compito come un ciclo avversario in cui il comportamento del solver guida la revisione, CalibForge produce compiti che sono dimostrabilmente risolvibili ma sufficientemente impegnativi da stimolare l'apprendimento.

Gli autori sottolineano che:

La validità eseguibile è insufficiente: Un compito può essere valido ma banale o irrisolvibile per l'agente target. La calibrazione rende la "zona apprendibile" osservabile e azionabile.
La calibrazione guida il trasferimento: I miglioramenti sui benchmark OOD (SWE-bench Pro, Doc2Repo) suggeriscono che le capacità apprese dai compiti terminali calibrati con i solver si trasferiscono efficacemente a compiti complessi di ingegneria del software e generazione di repository a lungo raggio.
La diversità è multidimensionale: Il dataset CalibForge offre diversità non solo nella copertura del dominio, ma anche nei tag di capacità, nella complessità dell'ambiente e nella logica di verifica, evitando le concentrazioni di dominio ristrette tipiche dei dataset precedenti.

I risultati supportano la conclusione che la calibrazione avversaria del solver produce una supervisione più efficace e trasferibile rispetto alla sola autoria e validazione o al feedback di un singolo solver, fornendo un percorso scalabile per la costruzione di dati di addestramento di alta qualità per agenti terminali.