Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

Sintesi Tecnica: Verso Modelli Vision-Language a Bassa Latenza con Predizioni Doppiamente Corrette nella Comprensione Visiva Egocentrica

Problematica
L'adozione rapida dei Modelli Vision-Language (VLM) nella collaborazione uomo-robot (HRC) e nella comprensione visiva egocentrica affronta un collo di bottiglia critico: l'elevato costo computazionale e la latenza di inferenza dei modelli massivi ostacolano l'elaborazione in tempo reale a bordo. Sebbene il pruning dei pesi sia una tecnica standard per ridurre le dimensioni del modello e il calcolo, i metodi esistenti ottimizzano principalmente solo l'accuratezza della predizione. Questo articolo sostiene che, nella robotica fisica critica per la sicurezza, l'accuratezza non è sufficiente. Un modello deve produrre Predizioni Doppiamente Corrette (DCP): output che non siano solo fattualmente corretti, ma anche radicati in prove visive valide (razionali).

Gli autori identificano un fallimento specifico nelle attuali strategie di pruning: esse spesso preservano la capacità di identificare prove valide (ad esempio, la posizione corretta di un oggetto) ma degradano la capacità del modello di utilizzare tali prove per effettuare la predizione corretta. Ciò porta a scenari di "Giusto per i Motivi Sbagliati" in cui un modello sottoposto a pruning potrebbe localizzare correttamente una chiave inglese ma fallire nel predire l'azione di "consegna", o viceversa, predire l'azione corretta basandosi su correlazioni spurie piuttosto che sull'oggetto stesso. Tale disallineamento pone gravi rischi per la sicurezza nell'intelligenza incarnata (embodied intelligence), portando potenzialmente al fallimento del compito o a lesioni umane.

Metodologia
L'articolo propone una strategia di Pruning Informata dai Razionali progettata per preservare la DCP riducendo al contempo l'overhead computazionale. La metodologia procede attraverso i seguenti passaggi:

1. Definizione del Protocollo di Valutazione: Gli autori definiscono un protocollo di valutazione DCP spazio-temporale per i video egocentrici.

   • Definizione del Razionale: I razionali sono definiti come gli oggetti manipolati dall'uomo che forniscono prove per un'azione.
   • Dimensioni: La correttezza è valutata in due dimensioni: Spaziale (localizzazione dell'oggetto all'interno di un fotogramma, misurata tramite l'Accuratezza della Massa Rilevante) e Temporale (identificazione dei fotogrammi che contengono l'oggetto, trattata come classificazione binaria).
   • Metriche: Lo studio introduce la Affidabilità della Predizione (PT), l'Affidabilità dell'Inferenza (IR) e la proporzione di campioni Doppiamente Corretti (RR) per diagnosticare gli effetti del pruning.

2. Risultati Diagnostici: Gli esperimenti sui metodi di pruning post-training esistenti (OMP, GMP, Kwon et al., ECoFLaP) rivelano che, sebbene possano mantenere un'alta PT (razionali validi tra le predizioni corrette), degradano significativamente l'IR (predizioni corrette tra i razionali validi) e la RR. I modelli sottoposti a pruning spesso mantengono la localizzazione delle prove valide ma falliscono nel propagare tali prove allo strato decisionale finale, risultando in predizioni errate nonostante i razionali corretti.

3. Algoritmo di Pruning Proposto: Per affrontare questo problema, gli autori introducono un framework di pruning che sfrutta i razionali generati dal modello stesso per guidare la selezione dei pesi senza supervisione aggiuntiva.

   • Non-Uniformità per Strato: I rapporti di pruning sono allocati in modo non uniforme tra i vari strati in base ai pesi, riconoscendo che diversi strati contribuiscono in modo diseguale alla predizione.
   • Hessiano Guidato dai Razionali: L'innovazione principale modifica l'approccio standard dell'Optimal Brain Surgeon (OBS). Invece di utilizzare le attivazioni grezze degli input per calcolare la matrice Hessiana (che include il rumore di fondo), il metodo incorpora una maschera dei razionali.
   • Modulazione Semantica: La maschera dei razionali è raffinata calcolando la similarità del coseno tra l'embedding testuale dell'oggetto razionale e la classe predetta. Questo punteggio di similarità funge da fattore semantico per pesare la maschera, amplificando i contributi dei razionali semanticamente allineati e attenuando il rumore.
   • Scoring dei Pesi: Il punteggio di importanza per ogni peso è calcolato utilizzando un'approssimazione di Taylor del secondo ordine della perdita, dove l'Hessiana è costruita utilizzando la maschera dei razionali modulata. Ciò assicura che i pesi critici per collegare le prove valide alla decisione corretta siano preservati.

Contributi Chiave

• Valutazione DCP Spazio-Temporale: L'articolo propone un nuovo protocollo di valutazione specifico per la comprensione visiva egocentrica che valuta sia l'accuratezza della predizione che la validità dei razionali spazio-temporali.
• Insight Diagnostico: Attraverso estesi esperimenti, gli autori scoprono un rischio precedentemente inesplorato nel pruning: i metodi esistenti spesso disaccoppiano le prove valide dalle decisioni corrette, portando a un dispiegamento inaffidabile dei VLM nella robotica.
• Pruning Informato dai Razionali: Un nuovo algoritmo di pruning che utilizza i propri razionali per guidare la rimozione dei pesi. Questo approccio allinea la localizzazione delle prove con il processo decisionale, garantendo che i modelli ridotti mantengano la capacità di produrre predizioni doppiamente corrette.

Risultati Sperimentali
Il metodo è stato valutato su benchmark standard di video egocentrici: EPIC-KITCHENS VISOR ed EgoExo4D, utilizzando ActionCLIP (ViT-B/32) come modello base.

• Performance: Il metodo proposto supera costantemente le baseline di pruning esistenti (OMP, GMP, Kwon et al., ECoFLaP) in tutti i rapporti di pruning (20%, 25%, 30%).
• Accuratezza: Ottiene l'accuratezza di predizione più elevata tra tutti i metodi confrontati.
• Metriche DCP: Il metodo migliora significativamente l'Affidabilità dell'Inferenza (IR) e la proporzione di campioni Doppiamente Corretti (RR). Ad esempio, su EPIC-KITCHENS VISOR con un rapporto di pruning del 30%, il metodo ha migliorato l'IR spaziale del 13,62% e la RR del 3,65% rispetto alla forte baseline ECoFLaP.
• Affidabilità: Il metodo preserva con successo l'Affidabilità della Predizione (PT), garantendo che le predizioni corrette rimangano radicate in razionali validi.
• Studi di Ablazione: Gli esperimenti confermano che sia l'uso delle maschere dei razionali che la modulazione semantica di tali maschere sono componenti critiche; rimuoverne uno qualsiasi porta a un calo significativo delle prestazioni DCP.

Significatività e Rivendicazioni
L'articolo sostiene che ottenere VLM a bassa latenza per la robotica richiede più della semplice efficienza computazionale; richiede sicurezza e trasparenza. Concentrandosi sulle predizioni doppiamente corrette, gli autori sostengono che il loro metodo colmi il divario tra efficienza e affidabilità. Il lavoro suggerisce che le strategie di pruning debbano evolversi per preservare il legame semantico tra evidenza e decisione. Gli autori mirano a stimolare la ricerca su VLM efficienti che allineino i progressi guidati dall'accuratezza con la trasparenza, l'auditabilità e la sicurezza richieste per un'interazione uomo-robot responsabile e per l'intelligenza incarnata. Essi sottolineano che le loro scoperte sfidano l'assunto che il pruning influenzi solo l'efficienza e l'accuratezza, evidenziando una nuova dimensione di rischio in cui i modelli diventano "giusti per i motivi sbagliati" o non riescono a utilizzare le prove corrette.