Sintesi Tecnica: Ottimizzazione del Prompt a Due Stadi per l'Estrazione di Relazioni Few-Shot

Definizione del Problema

L'Ottimizzazione Automatica del Prompt (APO) rimane poco esplorata per l'estrazione di relazioni Few-Shot (FSRE) episodica, in particolare quando si utilizzano modelli linguistici (LLM) più piccoli. Il lavoro precedente ha migliorato la FSRE attraverso un migliore ragionamento, recupero e selezione degli esempi, ma i prompt stessi sono tipicamente progettati manualmente anziché ottimizzati automaticamente. I metodi APO esistenti seguono generalmente due direzioni isolate: l'ottimizzazione basata sul ragionamento, che utilizza il feedback per apportare miglioramenti semantici e logici ampi nel linguaggio naturale, e l'ottimizzazione basata sul gradiente, che utilizza perdita e segnali di gradiente per identificare e modificare specifici token o span ad alto impatto. Il documento postula che queste direzioni siano complementari ma non siano state sistematicamente combinate per l'ottimizzazione di prompt in linguaggio naturale nella sfida della FSRE episodica, dove i prompt devono funzionare insieme a un piccolo set di esempi di supporto per relazione in ogni episodio.

Metodologia

Gli autori propongono un framework a due stadi che integra la ricerca globale basata sul ragionamento con il raffinamento locale guidato dal gradiente.

Stadio 1: Ricerca Globale Basata sul Ragionamento

Il primo stadio impiega un ottimizzatore basato sul ragionamento per apportare miglioramenti ampi al prompt nel linguaggio naturale. Gli autori valutano tre diversi ottimizzatori in questo stadio:

• RPO (Reasoning-based Prompt Optimization): Un metodo di ricerca iterativo che mantiene una popolazione di prompt. Campiona esempi di addestramento, raccoglie feedback su successi e fallimenti, e utilizza un modello ottimizzatore per generare prompt rivisti sulla base di questo feedback.
• EvoPrompt-DE: Un algoritmo evolutivo che mantiene una popolazione di prompt e genera nuovi candidati combinando quelli esistenti tramite un algoritmo genetico (specificamente la variante Differential Evolution).
• ETGPO (Error Taxonomy-Guided Prompt Optimization): Un metodo guidato dal feedback che aggrega i fallimenti da un ampio campione, li riassume in una tassonomia degli errori e genera un prompt rivisto in un unico passaggio basandosi sulle categorie di errore più comuni.

Stadio 2: Raffinamento Locale Guidato dal Gradiente (GradPO)

Il secondo stadio introduce GradPO, un nuovo ottimizzatore guidato dal gradiente progettato per raffinare l'output del primo stadio. A differenza dei metodi che modificano un token alla volta, GradPO identifica e modifica simultaneamente molteplici span ad alto impatto.

• Identificazione dello Span: GradPO calcola i gradienti a livello di token basandosi sulla perdita su un sottoinsieme di addestramento. Raggruppa i token vicini con alto gradiente in span modificabili, espandendoli finché i token vicini non scendono sotto una soglia di gradiente.
• Generazione dei Candidati: Per ogni span selezionato, GradPO genera sostituzioni candidate. Ciò può essere fatto tramite prompting LLM (GradPO-Gen) o selezionando i token in base alle probabilità di token del modello target (GradPO-Prob).
• Beam Search: Per gestire le modifiche di molteplici span preservando la struttura del linguaggio naturale, GradPO utilizza la beam search. Applica iterativamente le sostituzioni candidate alla beam corrente di prompt, valutandole utilizzando un obiettivo combinato di perdita del task e una penalità di fluidità basata sulla perplessità.
• Vincoli: Il metodo evita l'uso di un modello ottimizzatore separato per la generazione dei candidati, affidandosi esclusivamente al modello target, e disabilita il ragionamento durante questi passaggi per mantenere il processo leggero.

Contributi Chiave

1. Framework a Due Stadi: Il documento presenta il primo studio sistematico della combinazione della ricerca globale basata sul ragionamento con il raffinamento locale basato sul gradiente per l'ottimizzazione di prompt in linguaggio naturale nella FSRE episodica.
2. GradPO: L'introduzione di un raffinatore locale guidato dal gradiente che modifica molteplici span ad alto impatto invece di singoli token, permettendo uno spazio di ricerca locale più ricco pur mantenendo la struttura del prompt.
3. Validazione Empirica: Esperimenti estesi dimostrano che GradPO migliora costantemente i prompt generati da vari ottimizzatori basati sul ragionamento (RPO, EvoPrompt, ETGPO) e funge da raffinatore di secondo stadio più robusto.

Risultati

Gli esperimenti sono stati condotti su FS-TACRED e FS-FewRel utilizzando Qwen3-4B e Gemma3-4B come modelli target.

• Guadagni di Performance: Il framework a due stadi raggiunge prestazioni State-of-the-Art (SOTA) su FS-TACRED con Qwen3-4B, migliorando il punteggio F1 da 27.6 (migliore precedente) a 29.0. Su FS-FewRel, l'approccio rimane competitivo con il lavoro precedente.
• Complementarità: I risultati mostrano che il raffinamento locale è altamente efficace dopo la ricerca globale. In 19 casi sperimentali, 17 sono stati migliorati da almeno un metodo del secondo stadio. GradPO è stato il raffinatore più costante, migliorando 14 dei 19 prompt.
• Stabilità: Mentre l'ottimizzazione basata sul ragionamento può essere instabile tra le iterazioni, un singolo passaggio di raffinamento GradPO dopo il primo stadio fornisce miglioramenti stabili in quasi tutti i casi.
• Efficienza: GradPO comporta solo un costo computazionale aggiuntivo modesto (circa il 10.3% del costo di valutazione del dev-set nella configurazione più grande) pur esplorando uno spazio di modifica locale significativamente più ricco rispetto ai baseline a singolo token come GreaTer.
• Specificità del Modello: Il documento nota che le modifiche di GradPO sono largamente specifiche del modello; il trasferimento dei prompt ottimizzati tra modelli diversi produce guadagni limitati, poiché i raffinamenti dipendono dai segnali di perdita e gradiente specifici del modello target.

Significato e Rivendicazioni

Il documento sostiene che combinare la ricerca globale basata sul ragionamento con il raffinamento locale basato sul gradiente sia una direzione efficace per l'ottimizzazione dei prompt nella FSRE episodica. Gli autori sottolineano che il loro framework non richiede il fine-tuning specifico del task e si affida a LLM più piccoli (4 miliardi di parametri), rendendolo accessibile e pratico.

La significanza risiede nel dimostrare che:

1. I prompt trovati dalla ricerca globale contengono spesso scelte lessicali localmente subottimali che possono essere corrette tramite il raffinamento guidato dal gradiente.
2. GradPO fornisce un meccanismo stabile e coerente per questo raffinamento locale, superando altri baseline come LPO e GreaTer.
3. L'approccio raggiunge nuovi benchmark di performance senza aumentare la lunghezza del prompt, preservando la struttura del linguaggio naturale delle istruzioni.

Gli autori riconoscono i limiti, tra cui la dipendenza dagli iperparametri, la mancanza di un miglioramento garantito per ogni prompt e l'attuale focus su task di non-ragionamento e modelli più piccoli. Suggeriscono che il lavoro futuro potrebbe estendere questo framework a task basati sul ragionamento e a LLM più grandi.