Sintesi Tecnica: IAPO: Ottimizzazione della Policy Consapevole dell'Attribuzione dell'Input per l'Uso di Tool in Piccoli Agenti Multimodali

Problema

Il documento affronta la sfida di addestrare agenti basati su Small Language Models (SLM) affinché utilizzino efficacemente i tool in scenari multimodali, specificamente per il Visual Question Answering (VQA) che coinvolge grafici e tabelle. Sebbene i metodi di Reinforcement Learning (RL) come il Proximal Policy Optimization (PPO) e il Group Relative Policy Optimization (GRPO) abbiano migliorato le prestazioni degli agenti, essi presentano limitazioni significative quando applicati agli SLM multimodali:

1. Progettazione Inadeguata dei Reward per Task Multimodali: I metodi esistenti spesso si affidano al matching esatto rispetto alle traiettorie dei tool del ground-truth o a formati predefiniti. Tuttavia, i task multimodali ammettono frequentemente molteplici percorsi validi di utilizzo dei tool (ad esempio, evidenziare, mascherare o disegnare bounding box può essere un modo valido per concentrarsi sulle regioni rilevanti di un grafico). I controlli rigidi sul formato non riescono a catturare questa flessibilità.
2. Reward Sparsi e Fragili: Gli approcci attuali utilizzano tipicamente reward binari basati sull'esito (corretto/errato della risposta finale). Ciò fornisce un feedback sparso e non riesce a guidare il processo decisionale intermedio del modello. Di conseguenza, gli SLM possono imparare a sfruttare scorciatoie accidentali o correlazioni superficiali per ottenere una risposta finale corretta senza apprendere realmente politiche di selezione dei tool robuste e fondate su evidenze visive rilevanti.
3. Prestazioni Subottimali del Vanilla GRPO: Anche con il vanilla GRPO, gli SLM multimodali continuano a produrre un numero sostanziale di chiamate ai tool errate, indicando che gli algoritmi di RL standard sono insufficienti per apprendere la sfumata capacità decisionale richiesta per l'uso dei tool multimodali.

Metodologia: Ottimizzazione della Policy Consapevole dell'Attribuzione dell'Input (IAPO)

Per affrontare questi problemi, gli autori propongono IAPO, un algoritmo di RL che allinea l'attribuzione dell'input del modello studente con quella di un modello insegnante più forte. L'idea centrale è che il contributo di specifici componenti dell'input alla generazione di una chiamata al tool è fortemente correlato alla correttezza della chiamata stessa.

Componenti Chiave:

1. Punteggi di Integrated Gradient (IG):

   • Il prompt di input viene scomposto in blocchi semantici: contesto testuale puro ($P$), query dell'utente ($R$), segnaposto dell'immagine ($I$) e definizioni dei tool ($T$).
   • Il metodo calcola i punteggi di Integrated Gradient per quantificare quanto ogni blocco semantico contribuisca alla log-probabilità della sequenza di chiamata al tool generata.
   • Nello specifico, per una sequenza di chiamata al tool $y'$, il punteggio $s(E)$ è la log-probabilità sotto la policy corrente. Il gradiente di questo punteggio rispetto agli embedding di input è calcolato, e l'attribuzione a livello di token è definita come la norma del prodotto elemento per elemento del gradiente e dell'embedding ($o_i = \|g_i \odot e_i\|_2$).
   • Queste attribuzioni a livello di token vengono aggregate per produrre punteggi a livello di blocco ($O_k$) per ogni tipo semantico.

2. Penalità Basata sull'Attribuzione:

   • Un modello insegnante più forte (ad esempio, un SLM più grande o un modello addestrato con GRPO) genera punteggi IG di riferimento ($\hat{b}$) per lo stesso input.
   • Gli punteggi IG dello studente ($\hat{a}$) vengono confrontati con quelli dell'insegnante utilizzando la divergenza di Kullback-Leibler per formare una penalità di attribuzione: $P_A = D_{KL}(\hat{b} \parallel \hat{a})$.
   • Questa penalità incoraggia lo studente a concentrarsi sugli stessi componenti dell'input (ad esempio, specifiche definizioni di tool o parti della query) che l'insegnante ritiene rilevanti.

3. Funzione di Reward Modificata:

   • Il reward finale per una traiettoria $i$ combina il reward standard basato sull'esito ($R_{out}$) con la penalità di attribuzione:
     $$R_{IAPO}^i = R_{out}^i - \lambda P_A^i$$
   • Qui, $\lambda$ controlla la forza dell'allineamento dell'attribuzione. Questo segnale denso guida la policy non solo a massimizzare l'accuratezza del task, ma anche ad allineare il proprio processo decisionale interno ai pattern di attribuzione dell'insegnante.

4. Framework di Addestramento:

   • Il metodo utilizza un rollout a due turni: il modello genera chiamate ai tool per modificare un'immagine, poi ragiona sull'immagine modificata per produrre una risposta finale.
   • L'addestramento impiega l'obiettivo GRPO ma utilizza il $R_{IAPO}$ modificato per calcolare i vantaggi relativi al gruppo.

Contributi Chiave

1. Nuovi Punteggi di Integrated Gradient: Il documento introduce un metodo per quantificare il contributo di diversi blocchi semantici dell'input (testo, immagine, definizioni dei tool) alla generazione della chiamata al tool, fornendo un segnale di supervisione denso.
2. Algoritmo IAPO: Gli autori propongono il primo metodo di RL specificamente progettato per l'uso dei tool in SLM che utilizza penalità basate sull'attribuzione. Confrontando i punteggi IG di studente e insegnante tramite la divergenza KL, IAPO trasferisce la capacità di chiamata ai tool e la logica decisionale dell'insegnante allo studente.
3. Validazione Empirica: Il documento dimostra che il vanilla GRPO porta a un persistente uso errato dei tool negli SLM multimodali. Mostra inoltre che adattare i design dei reward dai modelli solo testuali è insufficiente, mentre IAPO migliora significativamente le prestazioni allineando l'attribuzione dell'input.

Risultati Sperimentali

Il metodo è stato valutato su task di visual question answering utilizzando il modello Qwen2.5-VL-3B come policy e un modello Qwen2.5-VL-7B (addestrato con GRPO) come insegnante.

• Guadagni di Prestazione: IAPO ha migliorato l'accuratezza del visual question answering in media del 3% su sei set di test (inclusi ChartQA, VWTQ e CharXiv) rispetto ai lavori esistenti sull'uso di tool visivi (VTool-R1, TRM, ToRL).
• Accuratezza della Selezione dei Tool: Gli studi di caso hanno rivelato che anche dopo 100 step di addestramento con vanilla GRPO, lo SLM commetteva errori significativi nella selezione dei tool (ad esempio, applicando tool basati sulle righe a grafici divisibili in colonne). IAPO ha ridotto significativamente questi errori, con il tasso di successo delle chiamate ai tool del modello che si avvicina al 100% nelle fasi avanzate dell'addestramento.
• Allineamento dell'Attribuzione: Lo studio ha mostrato che i punteggi IG per le parti di input corrette sono aumentati durante l'addestramento e hanno infine superato quelli delle parti usate erroneamente, correlandosi con la riduzione dell'uso errato dei tool. Il modello insegnante 7B ha esibito una separazione più chiara nei punteggi IG tra input corretti e errati, validando l'uso di un insegnante più forte per la guida.
• Generalizzazione: IAPO ha dimostrato una capacità di generalizzazione superiore sui benchmark out-of-distribution (CharXiv), suggerendo che l'allineamento dell'attribuzione aiuta a prevenire l'overfitting su correlazioni superficiali del prompt.

Significato e Rivendicazioni

Il documento sostiene che IAPO fornisca un framework più efficace per l'addestramento di agenti SLM multimodali rispetto agli esistenti metodi di RL. La sua importanza risiede nel:

• Colmare il Divario per gli SLM: Affronta la specifica difficoltà che gli SLM incontrano nell'apprendere da reward sparsi e binari, introducendo un segnale di supervisione denso a livello di processo derivato dall'attribuzione dell'input.
• Andare Oltre i Reward Binari: Sfida la dipendenza dal matching esatto o dai reward di esito binario nei setting multimodali, proponendo invece che allineare come un modello presta attenzione all'input (attribuzione) sia cruciale per un uso robusto dei tool.
• Distillazione Insegnante-Studente in RL: Utilizza con successo un modello insegnante più forte non solo per l'imitazione dell'output, ma per guidare il processo decisionale interno (pattern di attribuzione) di un modello studente più piccolo durante l'addestramento RL online.

Gli autori concludono che, sebbene i modelli più grandi esibiscano naturalmente migliori capacità di selezione dei tool e pattern di attribuzione, IAPO trasferisce efficacemente queste capacità ai modelli più piccoli, consentendo loro di prestare attenzione alle evidenze di input più rilevanti e di raggiungere prestazioni allo stato dell'arte nei task di uso dei tool multimodali.