KARL: Knowledge Agents via Reinforcement Learning

Il paper presenta KARL, un sistema di agenti di ricerca aziendale addestrati tramite apprendimento per rinforzo che, grazie a un nuovo benchmark (KARLBench), dati sintetici e un paradigma di post-addestramento iterativo, raggiunge prestazioni all'avanguardia e supera i modelli chiusi più potenti in compiti complessi di ragionamento e ricerca.

L'essenziale

Immagina di dover trovare un ago in un pagliaio, ma il pagliaio è enorme, cambia forma ogni secondo e l'ago potrebbe essere nascosto in un libro diverso ogni volta. Inoltre, devi scrivere un rapporto dettagliato su come hai trovato l'ago, citando esattamente dove lo hai visto.

KARL (Knowledge Agents via Reinforcement Learning) è il nuovo "investigatore privato" creato da Databricks che è diventato bravissimo a fare proprio questo.

Ecco come funziona, spiegato con metafore di tutti i giorni:

1. Il Problema: I "Cervelli" che non hanno accesso alla realtà

Fino a poco tempo fa, i modelli di intelligenza artificiale erano come studenti che hanno studiato tutto sui libri fino al 2023, ma non hanno mai messo piede in una biblioteca reale. Se gli chiedevi un dato specifico di un'azienda o un fatto medico recente, dovevano "allucinare" (inventare) o dire "non lo so".
KARL è diverso: è un agente che sa usare gli strumenti. Non si limita a ricordare, ma sa cercare, leggere, confrontare e ragionare su documenti reali (come note interne di un'azienda, report finanziari o articoli medici).

2. La Scuola di Addestramento: "KARLBench"

Per diventare un esperto, KARL non ha fatto un solo esame. Ha superato una serie di 6 prove diverse (chiamate KARLBench), ognuna con una sfida specifica:

• Il Cacciatore di Indizi: Trovare una persona specifica basandosi su 5 dettagli nascosti in documenti diversi.
• Il Giornalista: Leggere 10 articoli medici diversi e scrivere un unico rapporto coerente.
• Il Contabile: Leggere un report finanziario di 100 pagine e fare calcoli precisi.
• L'Archivista: Trovare tutti i nomi che soddisfano una condizione in un'enciclopedia.
• Il Tecnico: Risolvere un bug di codice guardando la documentazione tecnica.
• L'Investigatore Aziendale: Trovare informazioni sparse in note interne disordinate di un'azienda.

3. Come ha imparato: Il "Metodo dell'Allenatore"

Invece di dargli semplicemente le risposte giuste (come si fa con i compiti a casa), i ricercatori hanno usato un metodo intelligente:

• Creazione di compiti da soli (Synthesis): KARL ha creato i suoi stessi compiti difficili. Ha letto i documenti, inventato domande complesse e poi ha cercato di rispondere.
• Il gioco del "Prova e Sbaglia" (Reinforcement Learning): Immagina un videogioco. Ogni volta che KARL trovava la risposta giusta, prendeva punti. Se sbagliava o perdeva tempo, prendeva meno punti.
• L'allenamento iterativo: All'inizio era lento e faceva errori. Ma dopo ogni "partita", i ricercatori gli dicevano: "Hai sbagliato qui, riprova". Dopo migliaia di partite, KARL ha imparato a essere veloce, preciso e a non perdersi in dettagli inutili.

4. Il Segreto: Non è solo "più intelligente", è più "efficiente"

Molti modelli potenti (come i giganti chiusi di Anthropic o OpenAI) sono come F1: velocissimi ma costosi da mantenere (consumano molta benzina/elettricità) e lenti a decollare.
KARL è come un motociclista esperto:

• Costa meno: Per fare la stessa ricerca, spende un terzo del denaro rispetto ai modelli più famosi.
• È più veloce: Risponde in meno tempo.
• È più preciso: Quando gli dai un po' più di tempo di calcolo (come se gli permettessi di pensare due volte prima di rispondere), supera anche i modelli più potenti del mondo.

5. La Magia: "Pensare in parallelo"

Una delle tecniche più fighe che KARL usa si chiama Parallel Thinking.
Immagina di dover risolvere un enigma difficile. Invece di pensarci da solo, KARL si immagina di avere 10 suoi cloni che lavorano contemporaneamente.

• Ognuno dei 10 cloni cerca una soluzione diversa.
• Alla fine, un "capo" (un aggregatore) legge tutte le 10 soluzioni, prende la parte migliore da ognuna e le unisce in una risposta perfetta.
  È come avere una squadra di detective che lavora insieme invece di un solo detective stanco.

In sintesi

KARL dimostra che non serve per forza il modello più grande e costoso per fare ricerche complesse. Se addestri un modello con dati sintetici di alta qualità e gli insegni a imparare dai propri errori (tramite il Reinforcement Learning), puoi creare un agente che:

1. Capisce il contesto reale (non allucina).
2. Risolve problemi difficili in modo economico.
3. Si adatta a qualsiasi tipo di ricerca, dalle note aziendali ai report medici.

È un passo avanti enorme per rendere l'IA utile nelle aziende reali, dove i dati sono privati, disordinati e difficili da trovare.

Sommario tecnico

1. Il Problema

Il lavoro affronta le sfide legate alla creazione di agenti di conoscenza (sistemi che iterativamente interrogano, recuperano e ragionano su grandi collezioni di dati) capaci di eseguire il ragionamento basato su evidenze (grounded reasoning).
Mentre i modelli linguistici avanzati eccellono in compiti come la codifica o il ragionamento matematico, faticano in scenari aziendali reali dove devono:

• Accedere a dati proprietari e non presenti durante l'addestramento.
• Eseguire ricerche multi-step complesse su corpus eterogenei (documenti tecnici, note interne, report finanziari).
• Sintetizzare informazioni disperse in report coerenti o estrarre entità specifiche sotto vincoli multipli.
• Gestire contesti lunghi e dinamiche di ricerca che richiedono adattamento, senza allucinazioni.

Esiste una carenza di benchmark e metodologie di addestramento che valutino e migliorino queste capacità specifiche di "ricerca profonda" (deep research) in ambienti controllati ma realistici.

2. Metodologia

KARL (Knowledge Agents via Reinforcement Learning) è un sistema che combina sintesi dati agentiche, apprendimento per rinforzo (RL) multi-task e calcolo al momento dell'inferenza (test-time compute).

A. KARLBench: Suite di Valutazione

È stato creato un nuovo benchmark chiamato KARLBench per valutare le capacità degli agenti su sei regimi di ricerca distinti:

1. Ricerca di entità guidata da vincoli (es. BrowseComp-Plus): Trovare un'entità che soddisfi attributi multipli e interagenti.
2. Sintesi di report cross-documento (es. TREC-Biogen): Integrare scoperte sparse in documenti biomedici in un rapporto strutturato.
3. Ragionamento numerico su tabelle (es. FinanceBench): Navigare report finanziari lunghi per estrarre e calcolare dati numerici.
4. Recupero esaustivo di entità (es. QAMPARI): Trovare l'insieme completo di entità che soddisfano una condizione.
5. Ragionamento procedurale su documentazione tecnica (es. FreshStack): Risolvere problemi di codice basandosi su documentazione frammentata.
6. Aggregazione di fatti su note aziendali interne (PMBench): Un benchmark proprietario su dati aziendali disordinati e rumorosi.

B. Sintesi Agentiche dei Dati (Agentic Synthesis)

Per addestrare l'agente, è stato sviluppato un pipeline di sintesi dati che supera i limiti della generazione statica:

• Fase I (Generazione Q&A): Un agente esplora il corpus tramite vector search per generare domande e risposte complesse e radicate nelle evidenze recuperate.
• Fase II (Sintesi della Soluzione): Multipli istanze di un "Solver Agent" tentano di rispondere alle domande generate. Vengono filtrate le domande troppo facili (tutti risolvono) o troppo difficili (nessuno risolve), mantenendo solo quelle con un segnale di apprendimento ottimale (pass-rate intermedio).
• Filtraggio Qualità: Un agente di controllo verifica ambiguità e accuratezza fattuale.
• Bootstrapping Iterativo: Il processo è iterativo; un agente più capace viene utilizzato per sintetizzare dati di addestramento per la generazione successiva, migliorando la qualità dei dati nel tempo.

C. Addestramento RL Off-Policy Iterativo (OAPL)

Il cuore algoritmico è OAPL (Optimal Advantage-based Policy Optimization with Lagged Inference), un paradigma di post-training basato su RL off-policy a grandi batch:

• Robustezza: A differenza del RL online (es. GRPO), OAPL è robusto alle discrepanze tra il motore di addestramento e quello di inferenza (es. vLLM), eliminando la necessità di euristiche complesse come il clipped importance weighting o la cancellazione dei dati.
• Multi-Task: L'approccio combina direttamente le funzioni di perdita di task diversi (es. BrowseComp-Plus e TREC-Biogen) per addestrare un unico modello che generalizza meglio rispetto a modelli specializzati su singoli task.
• Gestione del Contesto: L'agente impara a comprimere il contesto storico (tramite un plugin di compressione) quando supera una soglia, ottimizzando l'uso della finestra di contesto per ricerche a lungo raggio (long-horizon).

D. Scaling del Calcolo al Momento dell'Inferenza (Test-Time Compute - TTC)

Per migliorare ulteriormente le prestazioni, KARL utilizza due strategie di TTC:

1. Parallel Thinking: Genera N rollout paralleli indipendenti e utilizza un agente aggregatore per sintetizzare una risposta finale, superando i limiti del semplice voting.
2. Value-Guided Search (VGS): Utilizza un modello di valore addestrato per guidare una ricerca ad albero, selezionando i rami più promettenti durante l'esplorazione.

3. Contributi Chiave

1. KARLBench: Una suite di valutazione multi-capacità che copre sei regimi di ricerca complessi, inclusi dati proprietari e scenari enterprise.
2. Generalizzazione Multi-Task: Dimostrazione che l'addestramento su comportamenti di ricerca eterogenei porta a una generalizzazione superiore rispetto all'ottimizzazione per un singolo benchmark.
3. Pipeline di Sintesi Dati Iterativa: Un metodo per generare dati di addestramento di alta qualità, radicati e difficili, utilizzando agenti che si auto-migliorano iterativamente.
4. Paradigma OAPL: Un nuovo metodo di post-training RL off-policy che è efficiente in termini di campioni, stabile per modelli MoE su larga scala e naturalmente estendibile al training multi-task.

4. Risultati

I risultati sono presentati confrontando KARL con modelli proprietari all'avanguardia (Claude 4.6, GPT-5.2) e modelli open-source (GLM 4.5 Air, Qwen 3.5).

• Pareto-Ottimalità: KARL definisce il fronte di Pareto nelle trade-off Costo-Qualità e Latenza-Qualità.
  • Raggiunge prestazioni paragonabili a Claude Opus 4.6 con un costo per query circa il 33% inferiore.
  • Con un budget di calcolo parallelo (10 rollout), supera o eguaglia i modelli chiusi più potenti, mantenendo una latenza significativamente inferiore.
• Generalizzazione OOD: Il modello addestrato su due task (TREC-Biogen e BrowseComp-Plus) mostra eccellenti prestazioni su task fuori distribuzione (es. FinanceBench, PMBench), dimostrando che ha appreso strategie di ricerca generali e non solo euristiche specifiche.
• Efficienza: Rispetto al modello base (GLM 4.5 Air), KARL risolve i compiti con meno passaggi e meno token, riducendo i costi e migliorando la precisione.
• Superamento dei Limiti del Modello Base: L'analisi mostra che il RL non si limita a "affinare" le risposte corrette esistenti, ma espande la capacità del modello di risolvere problemi che il modello base non poteva risolvere affatto (evidenziato dall'analisi max@k).

5. Significato e Impatto

Il lavoro di Databricks dimostra che è possibile costruire agenti di conoscenza aziendali ad alte prestazioni e a basso costo combinando:

1. Dati sintetici su misura generati da agenti.
2. Apprendimento per rinforzo multi-task su compiti difficili da verificare.
3. Scalabilità del calcolo al momento dell'inferenza.

Questo approccio offre una via praticabile per sostituire i modelli "black-box" costosi con agenti specializzati, trasparenti e ottimizzati per il ragionamento basato su evidenze in domini critici come finanza, legge e sanità. Inoltre, la metodologia OAPL risolve problemi infrastrutturali chiave nell'addestramento RL su larga scala, rendendo più accessibile lo sviluppo di agenti autonomi robusti.