📊 statistics

Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension

Questo articolo dimostra che i conteggi iterativi delle cancellazioni utilizzati per stimare le dimensioni dei concetti non sono invarianti per trasformazioni affini e quindi dipendono dalla specifica procedura di misurazione e dalla geometria della rappresentazione piuttosto che riflettere una proprietà semantica intrinseca della rappresentazione neurale.

Autori originali: Tingan Jin, Shuhang Dong, Haosong Li, Chung-Hsien Chou

Pubblicato 2026-08-12

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tingan Jin, Shuhang Dong, Haosong Li, Chung-Hsien Chou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La trappola nascosta nel conteggio delle "direzioni" neurali

Immaginate di cercare di capire come un robot super intelligente vede il mondo. Potreste pensare: "Se posso porre una domanda al robot e ottenere una risposta, l'informazione deve essere conservata in una direzione specifica all'interno del suo cervello". Gli scienziati hanno sviluppato un trucco ingegnoso chiamato "cancellazione iterativa" per contare queste direzioni. Funziona così: trovate la direzione che il robot usa per rispondere a una domanda, poi matematicamente "cancellate" quella direzione e ponete la domanda di nuovo. Continuate a contare finché il robot finalmente dice: "Non lo so". Il numero di cancellazioni effettuate è stato considerato il vero "dimensione" del concetto — come contare quanti colori distinti sono mescolati per creare una specifica tonalità di viola.

Ma ecco il trucco: e se il cervello del robot non fosse una scatola fissa e rigida, ma un palloncino elastico e deformabile? Se si schiaccia o si allunga il palloncino (un movimento matematico chiamato "riparametrizzazione"), le direzioni all'interno cambiano angoli e lunghezze, anche se il robot continua a sapere esattamente le stesse cose. Questo articolo esplora un angolo dell'intelligenza artificiale chiamato "apprendimento delle rappresentazioni", dove i ricercatori studiano come i modelli di IA organizzano l'informazione. La grande domanda è: quando contiamo quante volte dobbiamo cancellare una direzione per far sì che l'IA dimentichi qualcosa, stiamo contando una caratteristica reale e immutabile del concetto, o stiamo solo contando come il palloncino è stato teso in quel preciso momento?

Il Grande Esperimento del Palloncino Elastico

Questo articolo solleva il velo su un metodo popolare usato per misurare i concetti dell'IA, rivelando una verità sorprendente e un po' dispettosa: il conteggio che ottenete dipende interamente da come allungate i dati, non dal concetto stesso.

Gli autori, Tingan Jin, Shuhang Dong, Haosong Li e Chung-Hsien Chou, sostengono che il "conteggio di cancellazione iterativa" — il numero di direzioni che dovete eliminare per far dimenticare un concetto all'IA — non è una proprietà fissa e intrinseca della conoscenza dell'IA. Al contrario, è un numero "relativo alla procedura", il che significa che cambia in base agli strumenti matematici e alle regole specifiche che utilizzate per fare il conteggio.

Per dimostrarlo, hanno costruito un "laboratorio" matematico dove potevano controllare ogni variabile. Hanno creato uno scenario in cui un concetto (come un semplice segnale "sì/no") era generato da una sola sorgente nascosta. Nel mondo reale, questo è come un singolo interruttore della luce che accende una lampada. Tuttavia, hanno poi applicato una "taglio" matematico (una deformazione a scivolamento o shear) ai dati, mescolando quel singolo interruttore con del rumore casuale. Anche se il concetto era ancora generato da una sola sorgola, e l'IA poteva ancora essere "protetta" (ovvero resa incapace di conoscere il concetto) rimuovendo una sola direzione, il gioco del conteggio della cancellazione ha dato una risposta diversa.

Quando hanno utilizzato un metodo di conteggio standard e rettilineo (Euclideo):

Se i dati erano perfettamente dritti (senza allungamento), il contatore si fermava a 1.
Se applicavano anche un minimo allungamento (un fattore di taglio di appena 0,5 o 2), il contatore saltava improvvisamente a 2.

È come se aveste un singolo interruttore della luce, ma se guardaste la stanza da un angolo inclinato, pensereste improvvisamente di dover scollegare due cavi diversi per spegnere la luce. L'articolo dimostra matematicamente che, per un certo tipo di sonda IA, il conteggio può saltare da 1 a 2 (o da 2 a 4 in configurazioni più complesse) semplicemente cambiando il sistema di coordinate, anche se la "dimensione del concetto" sottostante non è mai cambiata.

Il "Test di Stress" con Robot Reali

Gli autori non si sono fermati alla matematica; hanno testato questo fenomeno su veri modelli di IA congelati che analizzano video e immagini (nello specifico V-JEPA2 e DINOv2). Hanno osservato un concetto chiamato "contatto mano-oggetto" — fondamentalmente, una mano sta toccando un oggetto?

Hanno preso le caratteristiche interne dell'IA (il suo stato di "cervello") e hanno applicato diversi allungamenti matematici (chiamati "mappe dense") ad esse. Hanno poi ripetuto il gioco del conteggio della cancellazione.

Il Risultato: Quando hanno utilizzato una visione standard, non allungata, l'IA sembrava necessitare di un certo numero di cancellazioni per dimenticare il contatto. Ma quando hanno allungato i dati (usando fattori come 2, 3, 5 o 10), il numero di cancellazioni necessarie per far "dimenticare" l'IA è cambiato significativamente.
La Prova: In un esperimento con 4.000 campioni, una configurazione standard (identità) si è fermata dopo 1 aggiornamento in tutte le 20 prove. Ma quando hanno applicato un allungamento (un taglio di 1), ogni singola una delle 20 prove ha accettato almeno 2 aggiornamenti, e alcune sono arrivate fino a 8.

Questo dimostra che il "conteggio" non è una misura stabile di quante "variabili fisiche" sono coinvolte nel concetto. È una misura di come la matematica interagisce con la forma specifica dei dati.

Il Lato Positivo: Un Nuovo Modo per Contare

L'articolo non dice solo "questo metodo è rotto"; offre un modo per correggere la matematica affinché funzioni, ma solo se si seguono regole rigide. Dimostrano che se portate il vostro "righello" (la metrica) insieme all'allungamento, il conteggio rimane lo stesso. Questo è chiamato "equivarianza affine".

Pensatelo in questo modo: se allungate un foglio di gomma su cui c'è un disegno, il disegno si deforma. Se usate un righello che si allunga anch'esso con la gomma, le vostre misurazioni rimarranno accurate. Se usate un righello metallico rigido, le vostre misurazioni saranno errate. Gli autori dimostrano che se si usa il "righello giusto" (una metrica trasportata) e si seguono i passi corretti, il conteggio diventa stabile. Tuttavia, sottolineano che i metodi popolari attualmente usati nel campo utilizzano spesso il "righello metallico rigido", portando a conteggi fuorvianti.

Cosa Significa Per Voi

Il messaggio principale è un avvertimento per chiunque cerchi di contare le "dimensioni" dei pensieri di un'IA. Se vedete un articolo che afferma che un concetto utilizza "decine di direzioni" perché un algoritmo di cancellazione ne ha contate così tante, dovreste essere scettici. Quel numero potrebbe essere solo un artefatto di come i dati sono stati allungati o di come l'algoritmo è stato impostato.

Gli autori concludono che il "conteggio di cancellazione iterativa" non è una verità magica e indipendente dalle coordinate sulla mente dell'IA. È un risultato determinato congiuntamente dalla geometria della rappresentazione e dall'intero procedimento di misurazione. Per ottenere una risposta reale, dovete dichiarare in anticipo le vostre regole, il vostro righello e il vostro punto di arresto. Senza questi impegni, il numero che ottenete è solo un riflesso della vostra matematica, non del segreto dell'IA.

In breve: Non fidatevi del conteggio a meno che non sappiate esattamente come il palloncino è stato allungato.

Sintesi Tecnica: Il conteggio iterativo dell'erasure non è una dimensione del concetto affine-invariante

Problematica

Il documento affronta un'ambiguità fondamentale nell'interpretazione della "dimensione del concetto" all'interno delle rappresentazioni neurali. Un metodo operativo comune per stimare quante direzioni una rappresentazione utilizzi per codificare un concetto prevede l'erasure iterativo: l'adattamento di una sonda lineare, la rimozione della sua direzione (tramite proiezione nello spazio nullo), il nuovo adattamento e il conteggio del numero di passaggi fino al fallimento della sonda. La letteratura recente ha interpretato questo conteggio di arresto o il rango cumulativo rimosso come una dimensione intrinseca, semantica, del concetto (suggerendo, ad esempio, che un concetto sia distribuito su "decine" di direzioni).

Gli autori sostengono che questa interpretazione sia errata. Dimostrano che il conteggio dell'erasure iterativo non è una proprietà intrinseca del concetto o del contenuto informativo della rappresentazione. Al contrario, è un estimando relativo alla procedura che cambia sotto riparametrizzazioni invertibili (come le deformazioni/shear) che preservano tutte le predizioni lineari e l'informazione. Di conseguenza, il conteggio non fornisce una misura coordinat-free della dimensionalità semantica.

Metodologia

Il documento impiega una combinazione di analisi teorica della popolazione, simulazioni a campioni finiti e casi studio visivi per distinguere diverse quantità spesso confuse sotto l'etichetta di "dimensione".

Costruzione della Popolazione Teorica:
- Gli autori definiscono cinque quantità distinte: dimensione generatrice, dimensione lineare sufficiente, rango della covarianza incrociata, conteggio dell'erasure iterativo e rango di guardia lineare.
- Costruiscono un modello di popolazione in cui un concetto scalare $S$ genera un'etichetta $Y$ , mischiata con variabili di disturbo indipendenti $N$ tramite una matrice invertibile $A$ .
- In questo modello, la dimensione lineare sufficiente e il rango minimo di guardia sono fissati a 1 (o $r$ per i casi multivariati), indipendentemente dalla matrice di mixing $A$ .
- Analizzano il comportamento dell'erasure iterativo sotto diverse metriche (Euclidea vs. covarianza trasportata) e schemi di regolarizzazione (ridge, OLS).
Analisi dell'Equivarianza Affine:
- Il documento dimostra che, sebbene l'intera traiettoria completa di una procedura di erasure possa essere resa affine-equivariante se la metrica, la sonda, il regolarizzatore e le regole di risoluzione dei legami (tie-breaking) sono trasportati coerentemente, il conteggio dell'erasure euclideo standard non lo è.
- Nello specifico, mostrano che una deformazione (shear) invertibile cambia la traiettoria dell'erasure euclideo, alterando il numero di passaggi necessari per rimuovere il concetto, nonostante l'informazione sottostante rimanga invariata.
Esperimenti su Campioni Finiti e Casi Studio Visivi:
- Circular Bridge: Una simulazione a campioni finiti utilizzando un target circolare (predizione di $\sin \theta, \cos \theta$ ) con un ottimizzatore Adam e rimozione full-QR. Questo imita la procedura utilizzata in recenti studi sui modelli del mondo video.
- Caso Studio Visivo: Gli autori esaminano le feature congelate di V-JEPA2 e DINOv2 su dataset di contatto mano-oggetto (100DOH e TouchMoment). Applicano mappe anisotrope controllate (matrici di Hadamard con segno denso) e mappe ortogonali alle feature.
- Controlli: Confrontano l'erasure euclideo standard con procedure che utilizzano la covarianza empirica non contratta (che è affine-equivariante) e testano la stabilità dei risultati sotto la restandardizzazione delle coordinate e un nuovo tuning dell'attaccante.

Contributi Chiave

Non Identificazione del Conteggio Iterativo:
- Teorema 1: Dimostra che per una popolazione con un concetto sufficiente di rango uno, il conteggio dell'erasure ridge iterativo è 1 sotto mixing identità, ma 2 sotto qualsiasi shear non nullo, nonostante la dimensione sufficiente e il rango di guardia rimangano 1.
- Teorema 2: Estende questo al caso di rimozione full-QR multivariata. Per un sistema a due output, il rango di editing cumulativo cambia da 2 (identità) a 4 (dimensione ambiente) sotto shear, mentre la dimensione sufficiente rimane 2.
Teorema dell'Equivarianza Affine:
- Dimostra che l'intera traiettoria cumulativa è affine-equivariante se e solo se la metrica, la sonda, il regolarizzatore e le regole di tie-breaking sono trasportati in modo coerente. Ciò stabilisce che la covarianza esatta è un corollario di questo teorema, non una metrica semantica unica.
Stress Test Empirici:
- Dimostra che, in contesti di campioni finiti (usando Adam/QR), la separazione tra identità e shear si mantiene: il mixing identità si ferma dopo 1 aggiornamento, mentre gli shear accettano 2 o più aggiornamenti in tutti i test.
- Mostra che nelle reali feature visive, la sensibilità alle coordinate persiste anche dopo la restandardizzazione delle coordinate, mentre le mappe ortogonali (che preservano la geometria euclidea) riproducono la traiettoria di identità.
Separazione Concettuale:
- Separa rigorosamente la dimensione della popolazione (variabili latenti), la dimensione sufficiente, il rango di guardia e il conteggio iterativo, sostenendo che non dovrebbero essere riportati sotto un unico nome.

Risultati

Livello di Popolazione: Le prove teoriche confermano che il conteggio intero di arresto non è invariante. Un concetto di rango uno può produrre un conteggio di 1 o 2 a seconda esclusivamente del numero di condizionamento del sistema di coordinate.
Circular Bridge (Campione Finito): In 20 run con grandi campioni ( $n=4.000$ ), il mixing identità si è fermato dopo 1 aggiornamento. Tutti gli shear testati ( $a \in \{0.5, \dots, 2\}$ ) hanno accettato almeno 2 aggiornamenti. Il rango di editing cumulativo ha raggiunto la dimensione ambiente (4) per gli shear, mentre è rimasto 2 per l'identità.
Caso Studio Visivo:
- L'applicazione di mappe anisotrope dense alle feature congelate di V-JEPA2 ha alterato significativamente la traiettoria dell'erasure e l'accessibilità post-edit (AUROC), anche dopo la restandardizzazione.
- Al contrario, l'applicazione della covarianza empirica non contratta (che soddisfa la condizione di equivarianza) ha prodotto traiettorie identiche attraverso tutte le mappe.
- Le mappe ortogonali hanno riprodotto la traiettoria di identità, confermando che la sensibilità osservata è guidata dall'anisotropia, non dal rumore del solver o da un arbitrario rinomino.
Calibrazione Cross-Fit: Gli edit stimati dal campione possono lasciare un accesso residuo sostanziale per nuovi attaccanti anche quando il rango di guardia della popolazione è noto essere 1, evidenziando la differenza tra i residui a campioni finiti e le proprietà della popolazione.

Significatività e Rivendicazioni

Il documento conclude che il conteggio dell'erasure iterativo non è una dimensione del concetto affine-invariante. È una quantità determinata congiuntamente dalla geometria della rappresentazione e dalla specifica procedura di misurazione (metrica, sonda, regolarizzatore, regola di arresto).

Reinterpretazione del Lavoro Precedente: Gli autori non invalidano l'utilità delle sonde lineari o delle rappresentazioni editate che producono. Tuttavia, sostengono che usare il conteggio delle direzioni cancellate per affermare che un concetto è "distribuito" su molte dimensioni o per identificare una dimensione intrinseca è matematicamente infondato senza fissare preventivamente la metrica e l'estimando.
Reporting Difendibile: Il documento raccomanda di riportare l'intera procedura (metrica, perdita, regolarizzatore, regola di arresto) e di distinguere tra dimensione generatrice, dimensione sufficiente e rango di guardia.
Ambito: I risultati si applicano alle rappresentazioni lineari e alle interazioni lineari. Gli autori dichiarano esplicitamente di non pretendere di identificare l'organizzazione dei concetti non lineare, per token o causale, né propongono un nuovo algoritmo di "eraser". Lo studio visivo è presentato come un caso studio e uno stress test, non come una misurazione definitiva della dimensione del contatto.

In sintesi, il documento fornisce una rigorosa confutazione matematica ed empirica all'idea che il numero di passaggi in una procedura di erasure iterativo riveli la dimensionalità intrinseca di un concetto neurale, mostrando invece che questo numero è un artefatto del sistema di coordinate e delle specifiche scelte algoritmiche effettuate durante l'analisi.