💬 NLP

APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution

Il paper presenta APEX-Searcher, un nuovo framework agentico a due stadi che migliora le capacità di ricerca dei modelli linguistici su compiti complessi a più passaggi, disaccoppiando la pianificazione strategica (ottimizzata tramite RL) dall'esecuzione dei sottocompiti (affinata tramite fine-tuning supervisionato) per superare le limitazioni dei metodi di recupero iterativo end-to-end esistenti.

Autori originali: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Pubblicato 2026-03-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale molto intelligente, un "super-cervello" digitale (chiamato LLM o Modello Linguistico), che sa rispondere a quasi tutto. Tuttavia, questo assistente ha un difetto: la sua conoscenza si è "congelata" nel momento in cui è stato creato. Se gli chiedi cosa è successo ieri o se devi trovare un fatto molto specifico che non ha memorizzato, tende a inventare risposte plausibili ma sbagliate (un fenomeno chiamato "allucinazione").

Per risolvere questo, gli scienziati hanno creato il RAG (Retrieval-Augmented Generation): un sistema che permette all'assistente di "andare a cercare" informazioni in una biblioteca esterna prima di rispondere.

Ma c'è un problema: se la domanda è semplice ("Chi è il presidente degli USA?"), una sola ricerca basta. Se la domanda è complessa e a più livelli ("Qual è la nazionalità del nonno materno del re di Siria nel 1900?"), una sola ricerca non funziona. L'assistente si perde, cerca cose a caso e finisce per sbagliare.

Qui entra in gioco il APEX-Searcher, il nuovo metodo presentato in questo paper. Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: Il Corriere che corre senza mappa

Immagina che il tuo assistente sia un corriere che deve consegnare un pacco in una città enorme (la conoscenza).

I metodi vecchi (RAG classico): Il corriere prende la tua richiesta, corre alla prima libreria che vede, prende un libro a caso e ti dice: "Ecco la risposta!". Se la domanda è complessa, il corriere si stanca, prende libri sbagliati e ti dà un pacco rotto.
I metodi iterativi (RAG ripetuto): Il corriere prova a correre di nuovo. "Forse ho sbagliato libro, ne prendo un altro!". Ma continua a correre a caso, senza una strategia. È come cercare di trovare un ago in un pagliaio correndo a zig-zag senza una bussola.

2. La Soluzione APEX-Searcher: Il Pianificatore e l'Esploratore

Il team di ricercatori ha diviso il lavoro in due fasi distinte, come se avesse due personaggi diversi che lavorano insieme:

Fase 1: L'Architetto (Agentic Planning)

Prima di far correre il corriere, chiamano un Architetto (addestrato con una tecnica chiamata Reinforcement Learning, ovvero "imparare per tentativi ed errori").

Cosa fa: L'Architetto non cerca le risposte. Il suo unico compito è smontare il problema.
L'analogia: Se gli chiedi "Come preparo la torta della nonna?", l'Architetto non va in cucina. Si siede e scrive una lista di passi logici:
1. Chi è la nonna?
2. Qual è la sua ricetta segreta?
3. Quali ingredienti servono per quella ricetta?
4. Dove comprare quegli ingredienti oggi?
L'Architetto crea una mappa precisa. Sa che per rispondere alla domanda 4, deve prima avere la risposta alla domanda 3. Senza questa mappa, il corriere andrebbe nel caos.

Fase 2: L'Esploratore (Agentic Exploration)

Una volta che l'Architetto ha disegnato la mappa, chiama l'Esploratore (addestrato con Supervised Fine-Tuning, ovvero "imparando da esempi perfetti").

Cosa fa: L'Esploratore prende la lista dell'Architetto e va a cercare le informazioni passo dopo passo.
L'analogia: L'Esploratore sa esattamente cosa cercare. Se la mappa dice "Trova la ricetta", lui va nella libreria giusta, legge il libro giusto e torna indietro. Poi passa al punto successivo. Non perde tempo a cercare cose inutili.
Inoltre, l'Esploratore è molto attento: se dopo aver letto 3 libri capisce di avere già tutte le informazioni, smette di cercare e risponde. Se non ne ha abbastanza, continua a cercare, ma sempre seguendo la mappa.

3. Perché funziona meglio?

Il segreto di APEX-Searcher è la cooperazione:

Non si fida solo della memoria: Usa la biblioteca esterna.
Non corre a caso: Prima pianifica (Architetto), poi esegue (Esploratore).
Impara dagli errori: L'Architetto viene addestrato per capire quando una mappa è buona e quando è confusa, migliorando col tempo.

Il Risultato

Nei test, questo sistema ha dimostrato di essere molto più bravo a rispondere a domande difficili rispetto agli assistenti precedenti. È come se avessimo trasformato un corriere che corre a caso in un team di detective: uno che pensa alla strategia e uno che esegue le indagini con precisione chirurgica.

In sintesi, APEX-Searcher insegra all'intelligenza artificiale a pensare prima di agire, trasformando una domanda confusa in una serie di piccoli compiti gestibili, per poi risolverli uno alla volta con la massima precisione.

Sintesi Tecnica: APEX-Searcher

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) sono intrinsecamente limitati dalla conoscenza statica acquisita durante il pre-addestramento, il che li rende vulnerabili a informazioni obsolete e all'effetto "allucinazione" (generazione di fatti errati). Sebbene la Generazione Aumentata dal Recupero (RAG) abbia mitigato questi problemi connettendo gli LLM a fonti di conoscenza esterne, l'approccio RAG standard fallisce di fronte a domande multi-hop complesse.

Le domande multi-hop richiedono la sintesi di informazioni da più documenti interdipendenti. I metodi esistenti basati su RAG iterativo tentano di risolvere questo problema aumentando il numero di iterazioni di recupero o affinando le query in modo reattivo ("cosa cercare dopo basandomi su ciò che ho appena trovato?"). Tuttavia, questi approcci mancano di una pianificazione strategica globale. Senza una struttura di ragionamento coerente, i sistemi iterativi tendono a:

Seguire percorsi di ricerca inefficienti (sovra-pianificazione o query ripetitive).
Essere distratti da documenti irrilevanti.
Mancare di un controllo robusto sul percorso di ragionamento.

Il paper identifica la mancanza di capacità di pianificazione del compito (task planning) come il collo di bottiglia principale, distinguendo tra esecuzione tattica (ricerca reattiva) e pianificazione strategica (decomposizione logica preventiva).

2. Metodologia: Il Framework APEX-Searcher

Il paper propone APEX-Searcher, un framework che potenzia le capacità di ricerca degli LLM separando il processo in due fasi distinte e sinergiche: Pianificazione Agente (Agentic Planning) ed Esplorazione Agente (Agentic Exploration).

L'architettura segue un flusso a tre stadi:

Fase I: Pianificazione Agente (RL-Driven)
- Obiettivo: Decomporre una domanda complessa ( $Q$ ) in una sequenza logica di sottodomande ( $S = \{s_1, s_2, ..., s_n\}$ ).
- Tecnica: Utilizza il Reinforcement Learning (RL) con l'algoritmo GRPO (Group Relative Policy Optimization).
- Funzione di Ricompensa: La ricompensa ( $R_{plan}$ ) è basata su un punteggio F1 che misura l'allineamento semantico tra la pianificazione generata dall'agente e una decomposizione "gold-standard" (umana). Questo viene calcolato tramite similarità semantica (sentence-transformers) e un algoritmo di assegnazione (Hungarian algorithm) per gestire l'ordine dei passaggi.
- Output: Un piano strutturato dove le sottodomande possono fare riferimento alle risposte precedenti tramite placeholder (es. #1, #2).
Fase II: Esplorazione e Ragionamento Guidato da SFT (SFT-Guided)
- Obiettivo: Eseguire il piano generato, risolvendo ogni sottodomanda attraverso un ciclo iterativo di recupero e ragionamento.
- Tecnica: Supervised Fine-Tuning (SFT) su un dataset specifico costruito tramite Self-instruct.
- Processo di Esecuzione:
  - Valutazione della Conoscenza: L'agente decide se la conoscenza accumulata è sufficiente per rispondere o se è necessario recuperare nuovi documenti.
  - Ciclo di Recupero Adattivo: Genera query dinamiche basate sui gap informativi, recupera documenti, filtra i duplicati e gestisce il contesto.
  - Decisione di Continuazione: L'agente decide autonomamente se continuare il ciclo di recupero o fermarsi per sintetizzare la risposta.
  - Aggiornamento della Conoscenza: Le risposte alle sottodomande vengono aggiunte a una base di conoscenza accumulata ( $K_{acc}$ ) per essere utilizzate nelle fasi successive.
Fase III: Sintesi Finale
- Una volta completate tutte le sottodomande, l'agente sintetizza le informazioni dalla base di conoscenza accumulata per generare la risposta finale ( $A_{final}$ ) e un punteggio di confidenza.

3. Contributi Chiave

Nuovo Framework Ibrido: Introduzione di APEX-Searcher, che combina RL per la pianificazione strategica e SFT per l'esecuzione tattica, superando i limiti dei metodi RAG iterativi puramente reattivi.
Ottimizzazione RL per la Pianificazione: Sviluppo di un agente di pianificazione addestrato con GRPO e una funzione di ricompensa basata sull'F1 semantico, che insegna all'LLM a decomporre problemi complessi in modo logico ed efficiente.
Paradigma di Ricerca Basato sulla Pianificazione: Costruzione di un dataset di addestramento SFT specifico (14.604 istanze) che insegna all'LLM a gestire cicli multi-turno, decisioni di continuazione e gestione del contesto in modo coerente con il piano strategico.
Separazione dei Ruoli: La distinzione netta tra l'agente "Pianificatore" (strategia) e l'agente "Esecutore" (tattica) permette un'ottimizzazione mirata di ciascuna capacità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark multi-hop QA standard: HotpotQA, 2WikiMultiHopQA, MuSiQue e Bamboogle, utilizzando modelli di base Qwen2.5-3B e Qwen2.5-7B.

Prestazioni Superiori: APEX-Searcher ha ottenuto risultati significativamente migliori rispetto a tutti i baselines (inclusi RAG standard, IRCoT, Search-o1, Search-R1).
- Su Qwen2.5-7B, ha raggiunto un punteggio medio (EM) di 37.64, superando il miglior baseline precedente (DecEx-RAG/StepSearch) con un miglioramento dell'8.2% - 13.1% rispetto ai metodi più forti.
- Su Qwen2.5-3B, il miglioramento è stato ancora più drastico, passando da un baseline di 13.42 a 33.45 (+149% di miglioramento relativo), dimostrando che il framework è cruciale anche per modelli di dimensioni ridotte.
Studio di Ablazione:
- L'uso combinato di Pianificazione (RL) ed Esplorazione (SFT) è essenziale.
- L'uso della sola pianificazione senza RL o SFT può addirittura degradare le prestazioni dei modelli più piccoli (3B), introducendo rumore.
- L'SFT per l'esplorazione è fondamentale per compensare le carenze dei modelli piccoli nella capacità di esecuzione e ragionamento sugli strumenti di recupero.
Analisi dei Parametri:
- Il recupero di documenti mostra rendimenti decrescenti oltre 3 documenti (introduzione di rumore).
- Un numero maggiore di "hop" (passi di ragionamento) fino a 5 migliora generalmente l'accuratezza.
Qualità della Pianificazione: L'analisi qualitativa mostra che il modello addestrato evita la decomposizione ridondante e utilizza correttamente i riferimenti (#n) per collegare le sottodomande, a differenza dei modelli base che spesso falliscono nella decomposizione o non la eseguono affatto.

5. Significato e Implicazioni

Il lavoro di APEX-Searcher segna un cambio di paradigma nel campo dei sistemi di ricerca basati su LLM:

Dalla Tattica alla Strategia: Dimostra che per risolvere problemi complessi, la capacità di pianificare globalmente è più critica della semplice ripetizione di iterazioni di ricerca.
Efficacia dei Modelli Piccoli: Fornisce una roadmap per rendere modelli LLM più piccoli (es. 3B) altamente competitivi in compiti complessi attraverso un addestramento specializzato su pianificazione ed esecuzione, riducendo la dipendenza da modelli massicci.
Fondamento per Agenti Autonomi: Il framework getta le basi per sistemi agenti più sofisticati capaci di gestire compiti di ricerca dell'informazione a lungo termine, con potenziali applicazioni future nell'espansione verso la ricerca web e l'ottimizzazione RL continua durante l'esplorazione.

In sintesi, APEX-Searcher risolve il problema della complessità multi-hop non aggiungendo semplicemente più cicli di ricerca, ma dotando l'LLM di una "mente strategica" (pianificazione) e di "abilità esecutive" (esplorazione) distinte e ottimizzate.