Sintesi Tecnica: Iniezione Residua Profonda per la Percezione del Segnale Forense a Spettro Completo nei Modelli Linguistici Multimodali Grandi

1. Definizione del Problema

Il rapido avanzamento delle immagini generate dall'IA (AIGI) ha creato una crisi nella fiducia digitale, rendendo necessari meccanismi di rilevamento robusti. Sebbene i Modelli Linguistici Multimodali Grandi (MLLM) offrano un forte ragionamento semantico e interpretabilità, essi affrontano un limite critico nei compiti forensi: l'incapacità di rilevare artefatti a basso livello dei generatori senza compromettere le loro capacità semantiche pre-addestrate.

Gli approcci esistenti spesso si affidano a rilevatori esperti esterni per compensare le debolezze degli MLLM o tentano di perfezionare direttamente gli MLLM. Tuttavia, gli autori identificano un fondamentale conflitto di rappresentazione:

• Apprendimento Semantico vs. Artefatti: Gli MLLM pre-addestrati sono ottimizzati per caratteristiche semantiche di alto livello (stile, contenuto, logica). Costringere questi modelli a imparare sottili tracce di generatori a basso livello (artefatti) tramite il fine-tuning standard (ad es., LoRA o full fine-tuning) interrompe le rappresentazioni semantiche stabilite.
• Il Dilemma: Il fine-tuning standard non riesce a recuperare efficacemente gli artefatti a basso livello, mentre un fine-tuning aggressivo (full fine-tuning) porta al "dimenticanza catastrofica" (catastrophic forgetting) della conoscenza semantica centrale del modello, rendendolo inefficace per i compiti di rilevamento generale.

2. Metodologia: Deep Visual Residual MLLM (Deep-VRM)

Per risolvere il conflitto tra preservazione semantica e rilevamento degli artefatti, gli autori propongono Deep-VRM, un'architettura innovativa basata sull'Iniezione Residua Profonda.

2.1. Insight Centrale: Stratificazione Funzionale per Livelli

Attraverso l'analisi della sonda lineare su MLLM pre-addestrati (specificamente Qwen-2.5-VL-7B), gli autori hanno scoperto una stratificazione funzionale all'interno dei livelli del modello:

• Livelli da Iniziali a Medi (Livelli 1–16): Questi livelli sono critici per la formazione di rappresentazioni semantiche stabili. Convergono rapidamente sui compiti semantici ma rimangono stagnanti quando incaricati di rilevare artefatti a basso livello. Costringere questi livelli a imparare gli artefatti interrompe la convergenza semantica.
• Livelli Successivi: Questi livelli sono responsabili del ragionamento di alto livello e dell'integrazione delle informazioni.

2.2. Design dell'Architettura

Deep-VRM impiega un'architettura visiva a doppio ramo con una strategia di Iniezione Residua per disaccoppiare i processi di apprendimento:

1. Percorso Semantico Congelato ($V_o$): L'encoder visivo originale e i primi livelli dell'LLM (fino al livello $K-1$) rimangono congelati. Ciò preserva la percezione semantica pre-addestrata e previene la dimenticanza catastrofica.
2. Percorso degli Artefatti Adattato ($V_a$): Un ramo visivo parallelo dotato di adapter LoRA è addestrato per estrarre indizi visivi specifici degli artefatti.
3. Iniezione Residua: Invece di allineare le caratteristiche al livello di input, le caratteristiche degli artefatti estratte da $V_a$ vengono iniettate direttamente negli stati nascosti intermedi dell'LLM (al livello $K$).
   • La formula di iniezione è: $\tilde{h}^{(K-1)}_v = \alpha \cdot h^{(K-1)}_v + \beta \cdot V_a(I)$, dove $\alpha$ e $\beta$ sono fattori di scala (impostati a 0.5).
   • Questa "Green Road" (Strada Verde) bypassa i livelli iniziali dominati dalla semantica, permettendo al modello di apprendere le tracce a basso livello solo dopo che le caratteristiche semantiche si sono consolidate.

2.3. Strategia di Addestramento

Il processo di addestramento è diviso in due fasi:

• Fase 1 (Allineamento Semantico): Fine-tuning del componente LLM utilizzando un dataset ($D_1$) focalizzato sugli indizi semantici per attivare la conoscenza pre-addestrata per il rilevamento AIGI.
• Fase 2 (Raffinamento Consapevole degli Artefatti): Introduzione di un dataset ($D_2$) focalizzato sulle tracce dei generatori (create tramite ricostruzione VAE per eliminare l'interferenza semantica). I primi livelli dell'LLM rimangono congelati, mentre il ramo residuo ($V_a$) e i livelli dell'LLM da $K$ a $N$ vengono ottimizzati. Ciò consente al modello di modellare congiuntamente il ragionamento semantico e i segnali forensi a livello di segnale.

3. Contributi Chiave

1. Scoperta del Conflitto di Rappresentazione: Il paper rivela sistematicamente che gli MLLM nativi non possono apprendere artefatti a basso livello generalizzabili senza modificare aggressivamente lo spazio delle caratteristiche, il che compromette l'estrazione semantica. Stabilisce che un rilevamento efficace richiede il disaccoppiamento dell'apprendimento degli artefatti dalla preservazione semantica.
2. Architettura Deep-VRM: Un metodo innovativo che inietta caratteristiche specifiche degli artefatti direttamente nei livelli profondi dell'LLM, bypassando i livelli iniziali dominati dalla semantica. Ciò raggiunge un'integrazione ottimale delle caratteristiche senza ricorrere a rilevatori esperti esterni.
3. Prestazioni allo Stato dell'Arte (SOTA): Il metodo raggiunge prestazioni superiori basandosi esclusivamente sull'MLLM, dimostrando una robusta generalizzazione in contesti "in-the-wild" dove gli artefatti a basso livello sono spesso degradati dal post-processing.

4. Risultati Sperimentali

Gli autori hanno valutato Deep-VRM attraverso molteplici benchmark, inclusi GenImage, SynthBuster, AIGI-Bench e WildRF (un dataset che riflette le condizioni reali dei social media).

• Generalizzazione: Deep-VRM ha raggiunto risultati SOTA in quasi tutti i benchmark. Ad esempio, sul dataset GenImage, ha ottenuto un'accuratezza media del 97,42%, superando modelli forensi specializzati come OMAT (94,63%) e DRCT (83,53%).
• Robustezza Wild: Sul benchmark WildRF, che testa la robustezza contro compressione e ridimensionamento, Deep-VRM ha raggiunto l'89,51%, superando significativamente il secondo miglior metodo (AIDE al 59,49%) e i modelli forensi specializzati.
• Confronto con MLLM: Rispetto agli MLLM generici (ad es., Qwen-2.5-VL-7B, LLaVA-1.5) che faticavano nel rilevamento (accuratezza 50–68%) e agli MLLM forensi specializzati (Forensic-Chat, 88,75%), Deep-VRM ha raggiunto l'accuratezza media più alta di 93,28%.
• Studi di Ablazione:
  • Profondità di Iniezione: L'iniezione alla profondità $K=16$ ha prodotto il miglior equilibrio. L'iniezione superficiale ($K=4$) ha interrotto la codifica semantica, mentre l'iniezione molto profonda ($K=20$) ha lasciato livelli insufficienti per il ragionamento congiunto.
  • Congelamento dei Primi Livelli: Congelare i primi livelli è stato cruciale per prevenire la dimenticanza della conoscenza semantica, aumentando le prestazioni sui dataset "wild" di oltre il 5% rispetto al full fine-tuning.
  • Coefficienti di Fusione: Un'impostazione bilanciata di $\alpha=0.5, \beta=0.5$ ha fornito il miglior compromesso tra la preservazione della rappresentazione semantica e l'introduzione di indizi sugli artefatti.

5. Significato e Rivendicazioni

Il paper sostiene che Deep-VRM colma con successo il divario tra l'analisi semantica di alto livello e la percezione forense di basso livello. Risolvendo il conflitto di rappresentazione attraverso l'Iniezione Residua Profonda, il modello consente agli MLLM di rilevare autonomamente sia tracce sottili dei generatori che anomalie semantiche di alto livello senza dipendere da rilevatori esperti esterni.

Gli autori sottolineano che questo approccio fornisce un framework unificato e generalizzabile per il rilevamento affidabile di immagini generate dall'IA. La capacità del modello di mantenere prestazioni robuste sotto i degradamenti delle immagini del mondo reale (compressione, ridimensionamento) suggerisce che non si affida a artefatti fragili e a singolo pattern, ma piuttosto sfrutta un processo di ragionamento congiunto. Il lavoro dimosta che gli MLLM possono essere adattati efficacementamente per compiti forensi se la loro stratificazione funzionale interna viene rispettata e sfruttata attraverso l'innovazione architettonica piuttosto che attraverso un fine-tuning di forza bruta.