RoCo-ACE: Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection

Sintesi Tecnica: RoCo-ACE

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) richiedono aggiornamenti per assorbire nuove conoscenze fattuali o specifiche di un dominio dopo il deployment. Tuttavia, le strategie standard di iniezione della conoscenza affrontano un fondamentale trade-off tra iniezione e ritenzione:

• Fitting Diretto (SFT/LoRA): Ottimizzare direttamente sulle risposte autorevoli migliora l'accuratezza della conoscenza iniettata, ma spesso causa un significativo drift nei comportamenti non aggiornati (es. grounding visivo, sicurezza, ragionamento generale) a causa dell'imitazione dell'intera risposta e dell'overfitting dello stile.
• Aggiornamenti Vincolati: I metodi che restringono lo spazio di aggiornamento (es. varianti di LoRA, vincoli di spazio nullo) limitano il drift, ma spesso non riescono a localizzare la supervisione su unità fattuali specifiche, risultando in una sotto-iniezione dei fatti target.
• Distillazione Online: L'addestramento su rollout generati dal modello anziché su target fissi mantiene gli aggiornamenti vicini alla policy attuale. Tuttavia, la distillazione condizionata da riferimento uniforme fornisce una supervisione grossolana. Essa assegna la massa del gradiente indiscriminatamente a formulazioni generiche, dettagli visivi non target e stile della risposta, sottopesando i token supportati dal riferimento e fornendo solo una supervisione indiretta per i fatti omessi nel rollout corrente.

La sfida centrale è ottenere una supervisione fine-grained che aggiorni specifici ancoraggi fattuali senza costringere il modello a clonare l'intera risposta di riferimento o degradare le sue capacità generali.

Metodologia: RoCo-ACE

Gli autori propongono RoCo-ACE, un obiettivo di distillazione online condizionato dal rollout progettato per iniettare contenuti fattuali sparsi preservando la ritenzione. Il metodo opera su un dataset di prompt ($x_i$), immagini ($I_i$) e risposte di riferimento autorevoli ($a_i$). Per ogni esempio, il modello studente $p_\theta$ genera un on-policy rollout $y_i$.

L'obiettivo combina due componenti complementari:

1. RoCo: Distillazione Online Contrastiva Condizionata dal Rollout

RoCo affronta il problema della granularità della supervisione per i token già presenti nel rollout dello studente. Utilizza un modello insegnante $q_\phi$ (una media mobile esponenziale dello studente) per valutare lo stesso prefisso del rollout sotto due condizioni:

• Vista Base ($q_{base}$): Stimolata solo con l'input dell'utente e l'immagine.
• Vista di Riferimento ($q_{ref}$): Stimolata con l'input dell'utente, l'immagine e la risposta di riferimento autorevole.

Il metodo calcola un contrasto di verosimiglianza ($\Delta_{i,t}$) per ogni token $t$ nel rollout:
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
I token con un contrasto positivo (ovvero, la cui verosimiglianza aumenta significativamente quando il riferimento è disponibile) sono identificati come supportati dal riferimento. RoCo riassegna un peso di distillazione aggiuntivo a questi token, mentre i token generici o non supportati ricevono solo un segnale di distillazione "floor". Ciò assicura che il modello impari ad allineare specifici span fattuali con il riferimento senza forzare l'imitazione uniforme dell'intero stile della risposta.

2. ACE: Cross-Entropy Ancorata

RoCo non può supervisionare i fatti che sono omessi dal rollout dello studente. ACE affronta questo gap di copertura applicando una correzione supervisionata sparsa agli ancoraggi autorevoli estratti (es. entità, date, numeri) dalla risposta di riferimento.

• Scoring di Copertura: Il sistema calcola uno score di copertura $\rho_i(s, y_i)$ per ogni span fattuale $s$ nel riferimento rispetto al rollout dello studente.
• Correzione Pesata: Gli span mancanti o debolmente coperti ricevono pesi maggiori. La perdita è calcolata come cross-entropy pesata solo sui token ancora nel riferimento:
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  dove $u_{i,k}$ è il peso dell'ancora. Questo fornisce una supervisione diretta per i fatti mancanti senza trattare l'intera risposta di riferimento come un target di imitazione a livello di token.

Obiettivo Complessivo

La perdita finale combina la distillazione del rollout pesata e la correzione sparsa degli ancoraggi:
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

Contributi Chiave

1. Identificazione della Granularità della Supervisione: Il paper identifica che la distillazione online uniforme non riesce a distinguere tra i token fattuali supportati dal riferimento e le formulazioni generiche, portando a una iniezione subottimale e alla perdita di ritenzione.
2. Framework RoCo-ACE: L'introduzione di un sistema a doppio obiettivo:
   • RoCo: Utilizza il contrasto di verosimiglianza dello stesso rollout per ripesare i token supportati dal riferimento, rafforzando l'allineamento fattuale on-policy.
   • ACE: Aggiunge la correzione sparsa degli ancoraggi per i fatti autorevoli omessi, garantendo la copertura senza il cloning dell'intera risposta.
3. Validazione Empirica: Esperimenti estesi su tre setting di iniezione della conoscenza (EVOKE, VP, Sci) e sei benchmark di ritenzione dimostrano che RoCo-ACE raggiunge una accuratezza superiore nella conoscenza iniettata mantenendo livelli di ritenzione vicini al modello base e ai baseline di distillazione online.

Risultati Sperimentali

Gli autori hanno valutato RoCo-ACE utilizzando Qwen3-VL-8B (e Qwen3-VL-30B negli appendici) contro baseline che includono SFT, LoRA, KORE, SDFT e vari metodi di aggiornamento vincolato.

• Accuratezza di Iniezione: RoCo-Achieve ha ottenuto la più alta accuratezza di conoscenza iniettata in tutti i setting. Sul benchmark EVOKE, ha raggiunto un'accuratezza del 27,6%, superando il forte baseline vincolato KORE (25,2%) e il fitting diretto SFT (20,1%).
• Ritenzione: Fondamentalmente, RoCo-ACE ha mantenuto un Ret. Avg. (ritenzione media su sei benchmark) del 56,5%, che è significativamente più alto di SFT (31,8%) e KORE (47,0%), ed è comparabile al modello base (57,2%) e al baseline di distillazione online SDFT (55,1%).
• Studi di Ablazione:
  • Rimuovere il pesatura contrastiva (RoCo) e usare pesi uniformi riduce l'accuratezza dell'iniezione.
  • Rimuovere la correzione degli ancori (ACE) risulta in una minore accuratezza dell'iniezione, specialmente per i fatti omessi.
  • L'uso della Cross-Entropy del riferimento completo (SFT) insieme alla distillazione migliora l'iniezione in modo meno efficace rispetto ad ACE e degrada la ritenzione in modo più severo, confermando che la correzione sparsa degli ancori è superiore all'imitazione dell'intera risposta.
• Analisi Qualitativa: Gli studi di caso hanno mostrato come RoCo enfatizzi contenuti on-policy utili (es. "street art", "Amsterdam") mentre ACE corregge specifici ancori mancanti (es. "STRAAT Museum", date specifiche) che il rollout inizialmente ometteva.

Significato e Claim

Il paper sostiene che RoCo-ACE risolve efficacementamente il trade-off tra iniezione e ritenzione spostando il focus dal behavior cloning all'allineamento fattuale. Decoupling (scollegando) la supervisione dei token del rollout supportati dal riferimento dalla correzione degli ancori omessi, il metodo inietta contenuti fattuali sparsi senza trasformare l'intera risposta di riferimento in un target di behavior cloning.

Gli autori posizionano RoCo-ACE come un approccio complementare ai vincoli dello spazio dei parametri; piuttosto che restringere dove il modello può cambiare, esso migliora come il modello viene supervisionato durante l'aggiornamento. Il metodo è progettato specificamente per contesti in cui gli aggiornamenti sono accompagnati da riferimenti autorevoli in linguaggio naturale, rendendolo adatto all'iniezione di conoscenza di entità, eventi e domini specifici nei MLLM. Il paper nota modestamente che la ritenzione è valutata empiricamente su benchmark non utilizzati e non fornisce garanzie formali per tutte le capacità non aggiornate.