CRANE: Knowledge Editing for Reasoning MLLMs

1. Collasso Strutturale: L'uso di schemi come <answer>...</answer> richiesti dai modelli di ragionamento risulta in un calo dei tassi di formato vicino allo zero (ad esempio, 0% per FT/LoRA/WISE su Vision-R1) o nella generazione di testo illeggibile.
2. Dissonanza Cognitiva: Anche quando il fatto modificato è memorizzato correttamente, la catena di ragionamento del modello rifiuta attivamente il fatto iniettato a favore dei priori visivi quando l'immagine contraddice la modifica. Il modello riconosce la contraddizione ma, in ultima analisi, prende le parti dell'evidenza visiva, portando a un successo di "Grounded Success" (GS) dello 0% negli scenari di conflitto.
3. Internalizzazione Superficiale: I metodi che si affidano a una memoria esterna indicizzata a input specifici (ad esempio, GRACE, IKE) hanno successo su query esatte ma falliscono nella generalizzazione a domande riformulate o catene di ragionamento multi-hop. Non riescono a propagare il fatto modificato come un'entità intermedia, tornando alla conoscenza parametrica originale o ai priori visivi.

2. Metodologia

A. Framework Diagnostico: ReasonEdit-Bench e Valutazione CoT-Aware

Per esporre questi fallimenti, gli autori propongono un protocollo di valutazione CoT-aware e costruiscono ReasonEdit-Bench, una suite di valutazione derivata da VLKEB ma potenziata con:

• Stratificazione del Conflitto: Separazione dei campioni in categorie "Normal" (l'immagine corrisponde alla modifica) e "Conflict" (l'immagine contraddice la modifica).
• Sonde Multi-livello: Espansione dei target di modifica da semplici nomi di entità a fatti descrittivi, testando sia l'identificazione dell'entità che il ragionamento sugli attributi.
• Portabilità Multi-hop: Test della propagazione dei fatti modificati attraverso catene di ragionamento.

Il protocollo utilizza un LLM-as-a-Judge per ispezionare l'intera catena di ragionamento, introducendo quattro metriche chiave:

• Integrità dello Schema: Misura la frazione di output che mantiene un formato CoT valido.
• Grounded Success (GS): La metrica principale di affidabilità. Richiede che sia la risposta superficiale a corrispondere al target della modifica, sia che la traccia di ragionamento ancori esplicitamente la risposta al fatto modificato.
• Edit Independence (EI): Misura se il modello evita di contaminare query non correlate con fatti modificati irrilevanti.
• Intermediate Entity Used (IU) / Used Visual Instead (UVI): Metriche multi-hop che valutano se l'entità modificata viene propagata correttamente o se il modello regredisce ai priori visivi.

B. Soluzione Proposta: CRANE

Gli autori propongono CRANE (Counterfactual Reasoning Arbitration for Multi-modal kNowledge Editing), un framework di recupero aumentato progettato per evitare la modifica dei pesi e quindi prevenire il Collasso Strutturale. CRANE opera in due fasi:

1. Sistema di Recupero Dual-Library Modality-Aware

• Architettura Dual-Index: Mantiene indici FAISS separati per gli embedding delle immagini (SigLità) e per gli embedding testuali dei fatti modificati per prevenire l'interferenza semantica negli scenari di conflitto.
• Testa di Proiezione Contrastiva: Una testa lineare leggera addestrata con perdita simmetrica InfoNCE per migliorare la discriminazione delle entità nello spazio degli embedding, aumentando l'hit@1 dal 69,7% al 90,4%.
• Difesa della Soglia di Confidenza: Filtra i recuperi spurii negli scenari di località (dove l'immagine della query non corrisponde ad alcun fatto modificato) impostando una soglia di similarità, riducendo le iniezioni di modifiche errate.

2. Strategia di Addestramento a Due Fasi

• Fase I: Supervised Fine-Tuning (SFT): Il modello viene perfezionato su 6.000 esempi CoT di alta qualità per padroneggiare il contratto strutturale della modifica. Questa fase insegna meta-competenze: come citare i fatti modificati, come riconoscere i conflitti visivo-testuali e come identificare l'irrilevanza, senza iniettare conoscenze fattuali specifiche.
• Fase II: GRPO con Cognitive Routing Reward: Il modello viene ulteriormente raffinato utilizzando la Group Relative Policy Optimization (GRPO). La funzione di ricompensa ($R_{total}$) combina accuratezza, conformità del formato e una nuova Cognitive Routing Reward ($R_{reasoning}$) che si adatta in base allo scenario:
  • Normal: Premia la citazione esplicita del fatto modificato ($R_{align}$).
  • Conflict: Premia un pattern di ragionamento specifico in tre fasi: riconoscimento dell'evidenza visiva, uso di una parola pivot (ad esempio, "tuttavia") e impegno verso il fatto modificato ($R_{override}$).
  • Locality: Premia il riconoscimento della query come distinta dai fatti modificati ed evita l'allucinazione ($R_{isolate}$).

3. Contributi Chiave

1. Framework Diagnostico: Identificazione di tre modalità di fallimento (Collasso Strutturale, Dissonanza Cognitiva, Internalizzazione Superficiale) e un protocollo di valutazione CoT-aware supportato da un LLM Judge.
2. ReasonEdit-Bench: Una suite di valutazione completa caratterizzata da stratificazione del conflitto, espansione della conoscenza a formato libero e test di portabilità multi-hop.
3. Framework CRANE: Un metodo di editing basato sul recupero aumentato che non richiede la modifica dei parametri per ogni modifica, utilizzando SFT per l'inizializzazione strutturale e GRPO con ricompense specifiche per scenario per arbitrare tra i priori visivi e i fatti modificati.
4. Evidenza Empirica: Esperimenti completi che dimostrano che le metriche tradizionali (TF-Acc) sono inaffidabili per i MLLM di ragionamento e che CRANE mitiga efficacementamente le modalità di fallimento identificate.

4. Risultati

Gli esperimenti sono stati condotti su ReasonEdit-Bench e sul benchmark out-of-distribution MMEVOKE utilizzando Qwen2.5-VL-7B-Instruct come modello base.

• Risoluzione del Conflitto: CRANE raggiunge il 96,9% di Grounded Success negli scenari di conflitto, superando significativamente i baseline. Ad esempio, mentre LoRA scende dal 92,4% (normal) all'86,9% (conflict) su Qwen2.5-VL, e IKE crolla al 6,1%, CRANE mantiene alte prestazioni.
• Ragionamento Multi-Hop: CRANE raggiunge il 96,9% di Intermediate Entity Used (IU) negli scenari di conflitto con solo l'1,7% di UVI (regressione ai priori visivi). Al contrario, metodi come GRACE e IKE raggiungono un IU quasi nullo (<0,4%) e oltre il 91% di UVI, indicando che non interiorizzano realmente la conoscenza.
• Località: CRANE raggiunge il 97,6% di Text Edit Independence e il 68,1% di Image Edit Independence. Sebbene inferiore alla località quasi perfetta di GRACE (99,5%), gli autori notano che la località di GRACE è un sottoprodotto della sua incapacità di influenzare il modello (fallimento della affidabilità), mentre CRANE bilancia un'alta affidabilità con una non trascurabile località.
• Out-of-Distribution (MMEVOKE): Sotto recupero gold (gold retrieval), CRANE raggiunge l'87,0%, un miglioramento del 19,2% rispetto al modello base. Con il recupero di fusione, raggiunge il 69,8%, superando il modello base con gold retrieval (67,8%), confermando che i pattern di ragionamento generalizzano.

5. Significato e Rivendicazioni

Il paper sostiene che un editing efficace della conoscenza per i MLLM di ragionamento richiede un cambio di paradigma dalla semplice iniezione di risposte superficiali all'addestramento del modello a ragionare sui fatti modificati attraverso il suo processo CoT esplicito.

• Limiti delle Metriche Attuali: Gli autori sottolineano che la TF-Acc è inaffidabile per i modelli di ragionamento, con il divario tra TF-Acc e Grounded Success che raggiunge i 99 punti percentuali negli scenari di conflitto.
• Necessità di CoT-Awareness: Lo studio dimostra che i metodi che non preservano lo schema CoT o che non riescono a risolvere i conflitti visivo-testuali sono fondamentalmente inadatti per i MLLM di ragionamento.
• Approccio di CRANE: Decoupling (scollegando) il recupero dalla modifica dei pesi e utilizzando l'apprendimento per rinforzo per insegnare al modello come arbitrare tra l'evidenza visiva e i fatti iniettati, CRANE affronta le cause profonde del fallimento senza innescare il Collasso Strurale.
• Collo di Bottiglia Attuale: Gli autori notano con modestia che, sebbene la componente di ragionamento di CRANE generalizzi bene, l'attuale collo di bottiglia per l'implementazione out-of-distribution è la precisione del recupero, suggerendo che il lavoro futuro debba concentrarsi sul recupero adattivo al dominio.