Context Sensitivity Improves Human-Machine Visual Alignment

Titolo: Context Sensitivity Improves Human-Machine Visual Alignment

Autore: Frieda Born, Tom Neuhäuser, Lukas Muttenthaler, et al.

---

1. Il Problema: La Disallineamento Rappresentazionale

I moderni modelli di machine learning (ML) rappresentano tipicamente gli input (es. immagini) come punti fissi in uno spazio di embedding ad alta dimensionalità. Sebbene questo approccio sia potente per compiti di generalizzazione (come ImageNet), differisce fondamentalmente dal modo in cui gli esseri umani elaborano le informazioni.

• Limitazione dei modelli attuali: Assumono che il contesto non influenzi la codifica delle informazioni (un'idea "platonica" di mappatura uno-a-uno tra entità e rappresentazioni).
• Natura umana: La percezione umana è intrinsecamente adattiva e sensibile al contesto. Gli esseri umani modificano dinamicamente le rappresentazioni di oggetti e relazioni in base all'ambiente circostante, agli obiettivi, alle esperienze recenti e alle relazioni semantiche simultanee.
• Conseguenza: Poiché i modelli ML sono sempre più utilizzati come "autorater" (sostituti della raccolta dati umana), la loro incapacità di adattarsi al contesto porta a una scarsa allineamento con i giudizi umani, limitando la loro efficacia come proxy per il comportamento umano.

2. Metodologia: Un Modello Sensibile al Contesto

Gli autori propongono un metodo per calcolare la similarità in modo sensibile al contesto partendo dagli embedding delle reti neurali, applicato a un compito di tipo "Odd-One-Out" (trovare l'intruso) in cui un'immagine funge da contesto (ancora) per una tripletta di immagini.

Architettura del Modello (Fig. 2)

Il modello riceve in input una tripletta di immagini $\{p, q, r\}$ e un'immagine di contesto $c$.

1. Estrazione delle Feature: Un modello fondazionale (Foundation Model - FM) estrae gli embedding per il contesto e per le immagini della tripletta. Vengono utilizzati FM pre-addestrati con diversi obiettivi: supervisionato (ViT), contrasto immagine/testo (SigLIP) e auto-supervisionato (DINOv2), inclusi le loro varianti "allineate all'uomo".
2. Trasformazione Insensibile al Contesto (CIT): Gli embedding della tripletta subiscono una trasformazione affine normalizzata ($\tilde{x}_i$) per migliorare l'allineamento di base con i giudizi umani.
3. Similarità Sensibile al Contesto (CSS):
   • L'embedding del contesto $c$ viene mappato da una rete neurale (un singolo strato lineare) in una matrice a basso rango $B_c$.
   • Viene costruita una matrice simmetrica positiva semidefinita $A_c = B_c^T B_c$.
   • La similarità tra due immagini $i$ e $j$ condizionata al contesto $c$ è calcolata come:
     $$s_{i,j|c} = \tilde{x}_i^T A_c \tilde{x}_j$$
   • Questo meccanismo agisce come un kernel dipendente dal contesto che ridefinisce dinamicamente le distanze nello spazio delle feature.
4. Decisione: Il modello seleziona l'immagine "intrusa" (odd-one-out) basandosi sulla probabilità softmax delle similarità delle coppie rimanenti.

Funzione di Perdita e Regularizzazione

Il modello è addestrato tramite massima verosimiglianza per prevedere la scelta umana. La funzione di perdita include termini di regolarizzazione per preservare la struttura rappresentazionale pre-addestrata:

• Mantenere la trasformazione indipendente dal contesto vicina all'identità ($W \approx I$).
• Mantenere la similarità sensibile al contesto vicina alla similarità coseno originale ($A_c \approx I$).

3. Risultati Chiave

Risultati Quantitativi

Il modello è stato valutato sul dataset ImageNet-HSJ (Roads & Love, 2021), ristrutturato in un formato tripletta-con-contesto.

• Miglioramento delle Prestazioni: Il modello sensibile al contesto ha ottenuto un miglioramento fino al 15% nell'accuratezza del compito "odd-one-out" rispetto a un modello insensibile al contesto.
• Robustezza: Il miglioramento è stato consistente su tutti i modelli fondazionali testati (DINOv2, SigLIP, ViT) e sia sulle versioni originali che su quelle "human-aligned" (allineate all'uomo tramite fine-tuning).
• Analisi Statistica: Le analisi bootstrap accoppiate hanno confermato che i miglioramenti sono statisticamente significativi (intervalli di confidenza al 95% che escludono lo zero).
  • Esempio: Per DINOv2 originale, l'accuratezza è passata dal 53.6% (baseline) al 65.7% (modello sensibile al contesto).

Risultati Qualitativi

L'analisi visiva delle Matrici di Similarità Rappresentazionale (RSM) e delle proiezioni PCA (Fig. 1) dimostra come il contesto moduli lo spazio delle feature:

• Caso di Studio: Data una tripletta (Cane, Barca, Carrozza) e un contesto (Cervo).
  • Modello Insensibile: Classifica il "Cane" come intruso, raggruppando Barca e Carrozza come veicoli.
  • Modello Sensibile al Contesto: In presenza del "Cervo" (animale), il modello aumenta il peso delle similarità tra gli animali. Di conseguenza, la "Carrozza" (che contiene un cavallo) viene spostata semanticamente verso il cluster degli animali, rendendo la "Barca" l'intruso corretto, in linea con la scelta umana.

4. Contributi Principali

1. Metodo di Allineamento Dinamico: Introduzione di un meccanismo computazionale che permette agli embedding delle reti neurali di adattarsi dinamicamente al contesto, imitando la flessibilità della cognizione umana.
2. Validazione Empirica: Dimostrazione che l'integrazione della sensibilità al contesto migliora significativamente l'allineamento tra modelli ML e giudizi umani, indipendentemente dall'architettura di base o dal metodo di pre-addestramento.
3. Interpretabilità: Fornisce evidenze visive (RSM e PCA) di come il contesto possa spostare le rappresentazioni di oggetti ambigui verso cluster semantici diversi, spiegando le decisioni del modello.

5. Significato e Implicazioni

Questo lavoro sottolinea che per migliorare l'allineamento tra intelligenza artificiale e comportamento umano, non è sufficiente addestrare modelli su grandi dataset statici o allinearli staticamente. È necessario incorporare meccanismi cognitivi ispirati, come la sensibilità al contesto, che permettano al sistema di ridefinire le relazioni tra oggetti in tempo reale.

• Impatto sull'AI: I modelli che incorporano queste dinamiche sono più adatti a fungere da proxy per la raccolta di dati umani e per compiti di ragionamento visivo complesso.
• Futuro: Gli autori suggeriscono di estendere questo approccio a dipendenze sequenziali, stati motivazionali interni e modelli visione-linguaggio per un ragionamento multi-immagine più sofisticato.

In sintesi, il paper dimostra che la contestualizzazione dinamica delle rappresentazioni neurali è un passo cruciale per colmare il divario tra l'elaborazione rigida delle macchine e la percezione adattiva degli esseri umani.