💬 NLP

MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning

Il documento introduce MARS, un nuovo framework di apprendimento per rinforzo multi-agente che fa coevolvere sistemi cognitivi duali (intuizione rapida e ragionamento deliberativo) per superare l'inefficienza dei token e i limiti di conoscenza dei Large Reasoning Models, raggiungendo prestazioni allo stato dell'arte su compiti ad alta intensità di conoscenza senza il fine-tuning supervisionato.

Autori originali: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Pubblicato 2026-02-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: l' "Over-Thinker" e la Biblioteca "Fuori Aggiornamento"

Immaginate di avere un assistente brillante e super intelligente (un'IA) che è bravissimo a risolvere enigmi difficili. Tuttavia, questo assistente ha due difetti principali:

L'Over-Thinker (Colui che pensa troppo): Quando gli chiedete di leggere un semplice articolo di notizie o di riassumere una pagina web, a volte si incastra in modalità "pensiero profondo". Analizza ogni singola parola, sprecando tempo ed energia per cose che non richiedono un'analisi approfondita. È come usare un martello pneumatico per rompere una noce.
La Biblioteca Fuori Aggiornamento: La conoscenza di questo assistente si ferma al giorno in cui è stato addestrato. Se gli chiedete qualcosa accaduto ieri, non ne sa nulla. Non riesce a cercare informazioni da solo senza confondersi a causa dell'enorme volume di nuove informazioni.

La Soluzione: MARS (Il Team dei Due Cervelli)

I ricercatori hanno creato un nuovo sistema chiamato MARS. Invece di un unico cervello che cerca di fare tutto, hanno costruito un team di due "personalità" distinte che lavorano all'interno della stessa IA, ispirandosi al modo in cui funzionano i cervelli umani:

Sistema 1 (Lo Scout Rapido): Questo è il cervello "intuitivo". È veloce, efficiente e bravo a scansionare. Il suo compito è guardare una montagna di nuove informazioni (come 10 diverse pagine web o documenti di ricerca) e tirare fuori rapidamente solo i fatti più importanti. È come uno scout che corre avanti, prende le provviste utili e lascia indietro la spazzatura.
Sistema 2 (Il Pensatore Profondo): Questo è il cervello "deliberato". È lento, attento e bravissimo a risolvere complessi enigmi logici. Prende i fatti puliti e distillati dal Sistema 1 e li usa per risolvere il problema effettivo.

Il Trucco Magico:
Nei sistemi precedenti, lo "Scout" e il "Pensatore" venivano addestrati separatamente. Lo Scout non sapeva di cosa avesse bisogno il Pensatore, quindi poteva riassumere cose che al Pensatore non interessavano, o perdere i dettagli di cui il Pensatore aveva disperatamente bisogno.

In MARS, essi co-evolvono. Si addestrano insieme. Lo Scout impara esattamente che tipo di informazioni aiutano il Pensatore a risolvere l'enigma, e il Pensatore impara come chiedere allo Scout le cose giuste. Condividono lo stesso "punteggio" (ricompensa), quindi lavorano come un team perfetto invece che come due estranei.

Come si Addestrano: Il "Gioco di Gruppo"

Per insegnare a questi due sistemi come lavorare insieme senza un insegnante umano (un metodo chiamato "Zero RL", che significa che partono da zero senza esempi pre-scritti), i ricercatori hanno utilizzato un astuto gioco di addestramento basato sulla Group Relative Policy Optimization (GRPO).

Pensatelo come una squadra di sport che si esercita per un campionato:

La Riunione della Squadra (Bin-Packing): Quando la squadra esce per raccogliere informazioni, potrebbe trovare 10 diverse pagine web. È troppo da leggere tutto in una volta. Il sistema utilizza una strategia di "Bin-Packing" (come incastrare la spesa nei sacchetti). Organizza queste pagine disordinate e di diverse dimensioni in blocchi ordinati e gestibili, in modo che lo Scout possa leggerle tutte contemporaneamente senza sentirsi sopraffatto.
Il Tabellone del Punteggio (Ricompense Condivise): La squadra esce e prova a risolvere un problema. Se ottengono la risposta corretta, sia lo Scout che il Pensatore ricevono un punto. Se falliscono, nessuno dei due riceve punti. Questo li costringe a cooperare.
Gioco Leale (Gradienti Decoppiati): Ecco la parte complicata. Anche se condividono il punteggio, i ricercatori si sono assicurati che lo Scout riceva il merito per riassumere bene e il Pensatore per ragionare bene. È come una staffetta: se la squadra vince, entrambi i corridori ricevono una medaglia, ma l'allenatore sa esattamente chi ha corso il primo tratto e chi ha corso il secondo. Questo assicura che lo Scout impari a essere un miglior Scout, non solo un miglior Pensatore.
Bilanciare la Squadra (Campionamento Bilanciato): A volte lo Scout deve leggere 5 pagine, altre volte solo 1. Questo crea uno squilibrio nei dati di addestramento. Il sistema utilizza un metodo di campionamento speciale per garantire che lo Scout e il Pensatore abbiano tempi di pratica uguali, in modo che uno non domini il processo di apprendimento.

I Risultati: Un Piccolo Team, Grandi Vittorie

I ricercatori hanno testato MARS su un esame molto difficile chiamato HLE (Humanity's Last Exam), che copre argomenti avanzati di scienza, matematica e storia.

L'Underdog (L'outsider): MARS ha utilizzato un modello relativamente piccolo (8 miliardi di parametri).
I Giganti: Lo hanno confrontato con modelli molto più grandi (32 miliardi o 72 miliardi di parametri) e persino con alcune costose "super-intelligenze" proprietarie di grandi aziende tecnologiche.
L'Esito: MARS ha battuto i modelli più grandi che erano stati pre-addestrati con esempi umani (Supervised Fine-Tuning). Si è anche avvicinato molto alle prestazioni dei modelli commerciali più avanzati disponibili, nonostante partisse con zero guida umana e utilizzasse un "cervello" molto più piccolo.

Perché Questo è Importante (Secondo il Paper)

Il paper afferma che la formula segreta non è solo avere più strumenti (come motori di ricerca o calcolatrici); è la partnership.

Senza lo "Scout" (Sistema 1), il "Pensatore" (Sistema 2) viene sopraffatto da troppi dati grezzi e commette errori.
Senza il "Pensatore" (Sistema 2), lo "Scout" si limita a riassumere le cose senza risolvere il problema effettivo.
Insieme, creano un sistema in grado di leggere una enorme quantità di informazioni aggiornate e usarle per risolvere problemi di ragionamento complesso e multi-step in modo efficiente.

In breve, MARS insegna a un'IA quando "scansionare velocemente" e quando "pensare profondamente", e come fare entrambe le cose insieme senza confondersi.

Riepilogo Tecnico: MARS – Co-evoluzione di un Sistema Duale per la Ricerca Approfondita tramite Apprendimento per Rinforzo Multi-Agente

1. Definizione del Problema

I Modelli di Ragionamento (LRM) affrontano due limitazioni fondamentali quando si occupano di compiti complessi e ad alta intensità di conoscenza:

Inefficienza nell'elaborazione delle informazioni: Di fronte a compiti di elaborazione delle informazioni più semplici (ad esempio, l'analisi di pagine web o la sintesi di articoli), gli LRM tendono a "sovra-analizzare", consumando un numero eccessivo di token di ragionamento. Ciò limita la loro capacità di elaborare grandi vololi di informazioni esterne necessarie per la ricerca approfondita.
Conoscenza Statica: Gli LRM sono confinati al limite temporale (knowledge cutoff) dei loro dati di addestramento e non possono accedere a informazioni aggiornate senza strumenti esterni.

Gli approcci esistenti che combinano modelli di ragionamento con strumenti esterni (ad esempio, WebThinker, Search-R1) impiegano tipicamente processori di informazioni fissi o addestrati indipendentemente. Questi processori non sono ottimizzati per il compito di ragionamento specifico a valle, portando a un disallineamento in cui il processore fornisce troppe informazioni irrilevanti (sovraccarico) o tralascia dettagli critici (perdita). Inoltre, questi sistemi spesso si affidano al Fine-Tuning Supervisionato (SFT) su traiettorie curate, che potrebbe non generalizzare bene o scalare in modo efficiente.

2. Metodologia

Gli autori propongono MARS (Multi-Agent System for Deep ReSearch), un framework che consente la co-evoluzione di due sistemi cognitivi all'interno di un singolo Large Language Model (LLM) tramite l'Apprendimento per Rinforzo Multi-Agente (MARL).

2.1 Framework Collaborativo a Sistema Duale

Ispirandosi alla teoria del doppio processo della cognizione umana, MARS integra due sistemi:

Sistema 1 (Veloce, Intuitivo): Responsabile dell'elaborazione delle informazioni ad alto throughput. Distilla le informazioni chiave dai risultati grezzi degli strumenti (ad esempio, risultati di ricerca, articoli) sulla base dello "scopo" specifico fornito dal Sistema 2.
Sistema 2 (Lento, Deliberato): Responsabile del ragionamento strategico, della pianificazione e dell'invocazione degli strumenti. Mantiene il contesto del ragionamento e decide quando chiamare gli strumenti e quali informazioni siano necessarie.

Flusso di lavoro:

Il Sistema 2 analizza il contesto corrente e genera un passaggio di ragionamento, richiedendo opzionalmente uno strumento con uno scopo specifico ( $p_i$ ).
L'ambiente esterno esegue lo strumento, restituendo output grezzi (che possono essere molteplici documenti di lunghezza variabile).
Bin-Packing: Per gestire in modo efficiente gli output di lunghezza variabile, un algoritmo First Fit Decreasing (FFD) organizza questi output in chunk di dimensioni ottimali.
Il Sistema 1 elabora questi chunk in parallelo, condizionato dallo scopo $p_i$ , per estrarre l'informazione distillata ( $\tilde{o}_i$ ).
L'informazione distillata viene concatenata nel contesto per il turno successivo del Sistema 2.

2.2 Strategie di Ottimizzazione Multi-Agente

Gli autori estendono il Group Relative Policy Optimization (GRPO) all'ambito multi-agente con tre innovazioni chiave per garantire un addestramento congiunto stabile ed efficace:

Calcolo del Gradiente Disaccoppiato: Sebbene il Sistema 1 e il Sistema 2 condividano lo stesso reward a livello di traiettoria, i loro aggiornamenti del gradiente sono disaccoppiati.
- Il loss del Sistema 2 è calcolato solo sui token di ragionamento e pianificazione, mascherando i token di output del Sistema 1.
- Il loss del Sistema 1 è calcolato solo sui suoi output di distillazione, condizionato sull'input sottoposto a bin-packing.
- Ciò garantisce un corretto assegnamento del credito: il Sistema 2 impara una migliore pianificazione/scopi, mentre il Sistema 1 impara migliori strategie di estrazione specifiche per tali scopi.
Ottimizzazione del Bin-Packing: Per consentire l'elaborazione in parallelo da parte del Sistema 1, gli output degli strumenti di lunghezza variabile vengono ordinati per lunghezza e inseriti in "bin" che rientrano nella finestra di contesto del modello. Ciò riduce il numero di passaggi di generazione richiesti per il Sistema 1.
Campionamento Bilanciato Pesato per Vantaggio: In un rollout, il Sistema 2 genera un numero fisso di campioni (uno per traiettoria), mentre il Sistema 1 genera un numero variabile (dipendente dalle chiamate agli strumenti e dai conteggi dei bin). Per evitare che un sistema domini il processo di apprendimento:
- Gli vantaggi (advantages) sono pre-calcolati per tutti i campioni all'interno di un gruppo.
- I campioni del Sistema 1 vengono quindi sottocampionati o sovracampionati (tramite duplicazione casuale) per corrispondere al numero di campioni del Sistema 2, garantendo un'ottimizzazione bilanciata pur preservando l'integrità statistica.

2.3 Impostazione di Addestramento: "Zero RL"

Un aspetto critico di MARS è il suo regime di addestramento. Opera in un'impostazione "Zero RL":

Il modello è addestrato direttamente dal modello base (ad esempio, Qwen2.5-7B o Qwen3-8B).
Non viene utilizzato alcun Supervised Fine-Tuning (SFT) o distillazione della policy da modelli più forti.
Questo contrasta con i baseline come WebThinker, che si affidano a warmup SFT, permettendo una valutazione diretta dell'efficacia del framework di RL multi-agente.

3. Contributi Chiave

Framework di Co-evoluzione: Introduzione di MARS, un framework a sistema duale in cui il Sistema 1 (elaborazione delle informazioni) e il Sistema 2 (ragionamento) sono ottimizzati congiuntamente attraverso reward di traiettoria condivisi. Ciò consente al Sistema 1 di apprendere la distillazione delle informazioni rilevanti per il compito piuttosto che una sintesi generica.
GRPO Adattato per il RL Multi-Agente: Sviluppo di tre tecniche specifiche per consentire un addestramento congiunto stabile: gradienti disaccoppiati per l'assegnazione del credito, bin-packing per l'elaborazione parallela e campionamento bilanciato pesato per vantaggio.
Performance Zero RL: Dimostrazione che un modello da 8 miliardi di parametri addestrato senza SFT può superare i baseline più grandi addestrati con SFT e avvicinarsi ai modelli proprietari su benchmark impegnativi.

4. Risultati Sperimentali

Gli autori hanno valutato MARS su diversi benchmark, tra cui Humanity's Last Exam (HLE) e 7 compiti di QA ad alta intensità di conoscenza.

Humanity's Last Exam (HLE):
- MARS (8B) ha raggiunto un'accuratezza dell'8,17%.
- Questo supera WebThinker (32B con SFT, 6,87%) e C-3PO (72B con SFT, 5,79%).
- Riduce il divario con i modelli proprietari come Claude 3.7 Sonnet (7,89%) e o1 (7,75%).
- Il miglioramento è diffuso tra le discipline (Bio/Med, CS/AI, Math, ecc.), non isolato a un singolo dominio.
Compiti di QA ad Alta Intensità di Conoscenza:
- MARS ha ottenuto un miglioramento medio dell'8,9% rispetto al baseline C-3PO in 7 compiti (inclusi NQ, TriviaQA, HotpotQA, ecc.).
- I guadagni sono stati particolarmente pronunciati nel ragionamento multi-hop (+12,2% rispetto a C-3PO), indicando la capacità del framework di gestire catene di ragionamento complesse che richiedono molteplici iterazioni di recupero-ragionamento.
Studi di Ablazione:
- Rimozione del Sistema 1: Rimuovere il Sistema 1 (costringendo il Sistema 2 a elaborare gli output grezzi degli strumenti) ha causato un calo del 1,91% nell'accuratezza di HLE (7,38% $\to$ 5,47%). Ciò conferma che il Sistema 1 co-evolve attivamente per estrarre informazioni rilevanti per il compito, piuttosto che agire come un sintetizzatore passivo.
- Utilizzo degli Strumenti: Il modello impara a utilizzare efficacemente molteplici strumenti (Search, Scholar, Python). La rimozione di qualsiasi singolo strumento (specialmente Search o Python) ha degradato significativamente le prestazioni in domini specifici.
- Dinamiche di Addestramento: L'analisi mostra che, con il progredire dell'addestramento, il modello passa da un recupero conservativo "single-shot" a una raccolta di prove iterativa, con il Sistema 1 che filtra efficacemente il rumore.

5. Significato e Rivendicazioni

Il paper sostiene che MARS dimostra la validità delle architetture a sistema duale co-evolvute attraverso l'apprendimento per rinforzo multi-agente senza dipendere dal fine-tuning supervisionato.

Efficienza vs Capacità: Il framework affronta con successo il compromesso tra l'elaborazione di grandi volumi di informazioni esterne e il mantenimento della qualità del ragionamento. Il Sistema 1 gestisce il "carico di lettura", permettendo al Sistema 2 di concentrarsi sul ragionamento complesso senza diluizione del contesto.
Specializzazione Appresa: I risultati suggeriscono che la "strategia ottimale di distillazione delle informazioni" non è statica ma dipende dal compito di ragionamento. Attraverso la co-evoluzione, il Sistema 1 impara a estrarre intuizioni specificamente utili per il Sistema 2, una capacità che i prompt fissi o l'addestramento indipendente non possono raggiungere.
Scalabilità: Il successo dello "Zero RL" indica che il framework di RL multi-agente stesso è un potente motore di performance, potenzialmente riducendo la dipendenza da scale di modelli massicce o costosi dataset SFT.

Gli autori sottolineano che questo approccio migliora l'affidabilità della ricerca approfondita consentendo ai modelli di sintetizzare informazioni aggiornate mantenendo al contempo un forte ragionamento multi-step, con potenziali applicazioni nell'istruzione e nella revisione della letteratura scientifica. Notano inoltre i potenziali rischi relativi alla disinformazione e la necessità di supervisione umana in contesti ad alto rischio.