From Intermediate States to Novel Outcomes: Intervention-Sensitive Visual Process Grounding in an Artificial Cognitive System

=== SINTESI TECNICA: Dagli stati intermedi a nuovi esiti ===

Problema
I sistemi cognitivi artificiali spesso faticano a distinguere tra cosa stato è stato raggiunto e come è stato raggiunto. In molti scenari, diverse sequenze procedurali convergono sugli stessi stati iniziali e finali, ma implicano azioni differenti quando applicate a una nuova query. Le valutazioni standard end-to-end, che si concentrano esclusivamente sulla precisione della predizione finale, non possono determinare se un sistema abbia riconosciuto un processo dimostrato, utilizzato una rappresentazione intermedia o semplicemente sfruttato una "scorciatoia dell'endpoint" dove lo stato finale da solo predice l'esito. La sfida centrale consiste nel costruire un setting in cui l'esito corretto sia sottodeterminato dagli endpoint e dalla query, richiedendo al sistema di inferire e applicare un ordine di trasformazione specifico basandosi sull'evidenza intermedia.

Metodologia
Lo studio introduce un compito visivo privo di linguaggio e con coppie controfattuali, progettato per isolare il riconoscimento e l'esecuzione del processo.

• Struttura del Task: Una dimostrazione consiste in un'immagine iniziale ($D_0$), un'immagine intermedia ($D_1$) e un'immagine finale ($D_2$). Esistono due ordini di processo: (0) ricolorare una forma bersaglio seguita dallo spostamento di oggetti di quel colore, o (1) spostare prima gli oggetti, poi ricolorare. Nelle dimostrazioni con coppie controfattuali, $D_0$ e $D_2$ sono identiche per entrambi gli ordini, ma $D_1$ differisce, codificando la specifica sequenza. Anche un'immagine di query ($Q_0$) è identica per la coppia, ma gli esiti corretti ($Y^{(0)}$ e $Y^{(1)}$) differiscono.
• Architettura del Sistema: L'autore confronta due interfacce:
  1. Interfaccia Esplicita a Bassa Larghezza di Banda: un riconoscitore mappa $(D_0, D_1, D_2)$ in una distribuzione di processo a due stati ($\hat{p}$), che condiziona un esecutore orientato alla traduzione per generare l'esito.
  2. Interfaccia Latente ad Alta Larghezza di Banda: un vettore continuo non vincolato viene passato da un riconoscitore a un esecutore separato.
• Ablazione Sensibile all'Intervento: Per separare le regole di intervento apprese dall'evidenza in fase di valutazione, l'autore impiega un design fattoriale $2 \times 2$ incrociando la Supervisione di Sostituzione (addestrare il modello a invertire le etichette quando $D_1$ viene scambiata con la sua controparte accoppiata) e la Supervisione di Incertezza Mascherata (addestrare il modello a produrre una distribuzione uniforme quando $D_1$ viene oscurata).
  • Solo Canonica: Riceve la supervisione del processo canonica ma senza esplicita perdita di sostituzione o di maschera. La sostituzione viene introdotta solo in fase di valutazione.
  • Intervento Completo: Riceve le perdite canoniche, di sostituzione e di maschera.
• Valutazione: Lo studio utilizza 12 corpora generati indipendentemente e testa sulla parità posizionale tenuta in riserva (parità di coordinata opposta all'interno dello stesso generatore di griglia). Le metriche chiave includono l'Intersection over Union (IoU) del primo piano, l'accuratezza dell'immagine esatta e la calibrazione dell'incertezza del processo (deviazione da una probabilità di 0,5 sotto mascheramento).

Contributi Chiave

1. Task a Coppie Controfattuali: Un setting minimale che elimina le scorciatoie degli endpoint e della query, forzando il ricorso all'evidenza dello stato intermedio ($D_1$) per risolvere l'ambiguità del processo.
2. Test di Sostituzione Solo Canonica: Dimostrare che un sistema addestrato solo su esempi di processo canonici (senza esplicite regole di sostituzione) può spontaneamente invertire il proprio codice di processo e l'esito quando l'immagine intermedia viene sostituita al momento della valutazione.
3. Separazione Fattoriale delle Capacità: Distinguere tra coerenza di sostituzione (sensibilità all'evidenza alternativa) e calibrazione dell'incertezza (sensibilità all'evidenza assente). Lo studio mostra che queste sono capacità distinte che richiedono supervisioni differenti.
4. Analisi della Fedeltà dell'Interfaccia: Confrontare codici di processo veri, soft e hard all'interno dello stesso esecutore per verificare che le interfacce di processo discrete non comportino una perdita di riconoscimento a livello di output.
5. Larghezza di Banda vs. Semantica: Quantificare il costo prestazionale del restringere l'interfaccia a una variabile semantica a bassa larghezza di banda rispetto a un vettore latente ad alta larghezza di banda.

Risultati

• Esecuzione Informata dal Processo: Il sistema esplicito completamente supervisionato ha raggiunto un Foreground IoU di ,981 sulla parità posizionale tenuta in riserva, superando significativamente il controllo dell'endpoint (IoU ,597, che approssimava un baseline di ambiguità). La differenza di ,384 IoU conferma che l'informazione sul processo risolve l'ambiguità dell'endpoint.
• Sensibilità all'Intervento Spontanea: Nel regime Solo Canonico (nessuna perdita di sostituzione), sostituire $D_1$ con la sua controparte accoppiata ha causato la selezione dell'esito alternativo con una probabilità di ,99988 (95% CI [,99968, ,99999]). Ciò dimostra che la mappatura dallo stato intermedio al codice di processo si è generalizzata senza esplicito addestramento all'intervento.
• Ridondanza della Supervisione di Sostituzione: L'aggiunta di una perdita di sostituzione esplicita non ha fornito alcun beneficio misurabile; il sistema era già saturo nella sua capacità di rispondere alla sostituzione.
• Calibrazione dell'Incertezza: L'incertezza calibrata (output di una probabilità di ~0,5) sotto il mascheramento di $D_1$ non è emersa dall'addestramento canonico (la deviazione da 0,5 era di ,492). Richiedeva una supervisione di maschera esplicita (la deviazione è ridotta a ,001). Inoltre, un codice di processo uniforme non garantiva una distribuzione di immagini uniforme, poiché l'esecutore poteva mapparlo a un esito ibrido con alta confidenza.
• Confronto delle Interfacce: L'interfaccia latente ad alta larghezza di banda ha leggermente superato l'interfaccia esplicita (differenza di IoU di -,008). Tuttavia, i codici di processo veri, soft e hard hanno prodotto immagini discrete identiche elemento per elemento, confermando la sufficienza dell'interfaccia esplicita per un'esecuzione ad alta fedeltà.

Significatività e Rivendicazioni
Il paper sostiene di dimostrare l'ancoraggio funzionale del processo sensibile all'intervento in un senso ristretto. Non afferma che il sistema abbia scoperto grafi causali del mondo reale o una comprensione simile a quella umana. Invece, stabilisce che all'interno di un sistema cognitivo artificiale:

1. Un cambiamento controllato nell'evidenza visiva del processo (sostituendo $D_1$) cambia uno stato di processo esplicito.
2. Questo cambiamento si propaga attraverso un'interfaccia fissa per alterare l'esito prospettico nella direzione corrispondente.
3. Questo comportamento può derivare da un ordinario supervisione del processo senza regole di intervento esplicite, distinguendo l' "apprendimento del processo" dall' "apprendimento di scorciatoie".
4. La coerenza di sostituzione e la calibrazione dell'incertezza sono capacità distinte; la prima può emergere spontaneamente, mentre la seconda richiede una supervisione specifica.

Lo studio conclude che, sebbene le interfacce latenti ad alta larghezza di banda offrano un leggero vantaggio predittivo, un'interfaccia semantica a bassa larghezza di banda è sufficiente per un controllo di alta qualità e sensibile all'intervento, a patto che il sistema sia addestrato a riconoscere l'ordine del processo. I risultati supportano l'utilità di rappresentazioni intermedie esplicite per il controllo prospettico in scenari in cui gli endpoint sono ambigui.