Riepilogo Tecnico: La Geometria dei Domini Percettivi Umani Emerge Transitoriamente nelle Rappresentazioni dei LLM

Enunciato del Problema

Sebbene i Large Language Models (LLM) siano addestrati esclusivamente su dati testuali, ricerche precedenti hanno stabilito che i loro spazi di embedding interni esibiscono strutture geometriche ricche corrispondenti a domini concettuali (ad esempio, varietà cicliche per i giorni della settimana o varietà 1D per il tempo). Tuttavia, non è ancora chiaro se questi modelli, privi di un ancoraggio sensoriale diretto, sviluppino rappresentazioni interne che si allineino all'organizzazione percettiva umana attraverso modalità sensoriali e affettive come colore, altezza tonale, gusto ed emozione. Inoltre, gli studi esistenti si sono concentrati prevalentemente sugli output del modello o su sondaggi specifici per compito, lasciando un vuoto nella comprensione di come e dove tali strutture percettive emergano ed evolvano attraverso i livelli intermedi delle architetture transformer.

Metodologia

Gli autori propongono un framework di analisi intrinseco e livello per livello per investigare l'emergenza della geometria percettiva senza ulteriore addestramento o sondaggi.

1. Stimoli ed Estrazione: Un insieme di stimoli (ad esempio, colori specifici, emozioni, frequenze di altezza tonale, composti gustativi) viene elaborato attraverso modelli transformer pre-addestrati (inclusi varianti di LLaMA-3, Qwen e Gemma) utilizzando prompt minimi e strutturati per estrarre le attivazioni degli stati nascosti ($h_i^{(l)}$) a ogni livello $l$.
2. Costruzione Geometrica:
   • Calcolo della Dissimilarità: Vengono calcolate dissimilarità coseno pairwise tra gli embedding per formare una matrice di dissimilarità $D$, isolando la struttura direzionale rimanendo invariati rispetto alla scala.
   • Riduzione della Dimensionalità: Viene applicata la Scalatura Multidimensionale (MDS) a $D$ per generare mappe geometriche a bassa dimensionalità (2D) che preservano le dissimilarità pairwise, creando una "mappa del quale" per ogni livello.
3. Metriche di Allineamento: Le mappe geometriche generate dal modello vengono confrontate quantitativamente con baseline percettive umane (derivate da dataset psicologici consolidati come ANEW e Marjieh et al., 2023) utilizzando due metriche:
   • Analisi di Similarità Rappresentazionale (RSA): Correlazione di rango di Spearman tra le voci triangolari superiori vettorizzate delle matrici di dissimilarità del modello e quelle umane.
   • Analisi di Procruste Generalizzata (GPA): Misura l'allineamento geometrico trovando la trasformazione ortogonale ottimale tra le mappe del modello e quelle umane, producendo un punteggio in cui valori più alti indicano un allineamento più forte.
4. Profilazione: Questa pipeline viene applicata attraverso tutti i livelli per tracciare l'evoluzione della struttura percettiva, identificando dove l'allineamento raggiunge il picco e come cambia con la profondità.

Contributi Chiave

Il documento presenta tre contributi principali:

• Emergenza Livello per Livello della Geometria Percettiva: Gli autori dimostrano che i LLM sviluppano spontaneamente rappresentazioni geometriche strutturate per molteplici domini percettivi (colore, altezza tonale, gusto, emozione) all'interno dei loro flussi residui. Queste strutture si allineano quantitativamente con le baseline percettive umane nonostante l'assenza di supervisione sensoriale diretta.
• Profili di Emergenza Specifici per Modalità: Lo studio rivela che diversi domini percettivi seguono traiettorie distinte. Sebbene tutti esibiscano un pattern di ascesa e discesa, il tempismo del picco di allineamento e la stabilità della struttura variano per dominio (ad esempio, il gusto raggiunge il picco prima dell'emozione) e per architettura del modello.
• Codifica Percettiva Transitoria: Il documento stabilisce una traiettoria rappresentazionale coerente tra i modelli: la geometria percettiva è debole o diffusa nei livelli iniziali, diventa progressivamente organizzata nei livelli intermedi e si attenua negli strati finali. Ciò suggerisce che la geometria percettiva è codificata transitoriamente come parte della pipeline di trasformazione interna del modello piuttosto che essere preservata uniformemente.

Risultati

L'analisi attraverso quattro modalità produce i seguenti risultati specifici:

• Colore: I modelli recuperano una varietà circolare che ricorda la ruota dei colori umana, raggiungendo il picco nei livelli da iniziali a intermedi. Questa struttura è transitoria, indebolendosi negli strati più profondi man mano che le rappresentazioni si specializzano per caratteristiche specifiche del compito. Questo profilo "ascesa–picco–discesa" è coerente tra LLaMA-3-8B, LLaMA-3.2-3B e Gemma-7B, sebbene Qwen-3-4B mostri un breve rimbalzo negli strati finali prima del degrado definitivo.
• Emozione: I modelli recuperano una varietà affettiva ben organizzata allineata alla struttura umana valenza–arousal. A differenza del colore, la geometria emotiva rimane comparativamente stabile negli strati successivi, indicando una ritenzione più persistente di questa struttura.
• Altezza Tonale: Nei livelli intermedi emerge un'organizzazione liscia e ad arco coerente con la natura continua e ordinale della percezione dell'altezza tonale. La struttura si deforma negli strati più profondi, suggerendo che l'altezza tonale è rappresentata relazionalmente piuttosto che categoricamente.
• Gusto: I modelli recuperano una varietà gustativa che corrisponde agli arrangiamenti percettivi umani (ad esempio, l'ordinamento dei gusti primari). Tuttavia, il gusto esibisce punteggi RSA più bassi e profili livello per livello più rumorosi rispetto ad altri domini, con una geometria che emerge presto ma degrada rapidamente.

Significato e Affermazioni

Il documento afferma di fornire nuove intuizioni sulla natura meccanica delle rappresentazioni dei LLM, specificamente su come la geometria percettiva simile a quella umana emerga da un addestramento puramente linguistico. Dimostrando che queste strutture emergono transitoriamente nei livelli intermedi, gli autori offrono una via di principio per l'analisi meccanica delle rappresentazioni interne.

Gli autori notano esplicitamente i limiti del loro lavoro:

• L'analisi è descrittiva; identifica dove e come emerge la geometria ma non spiega i meccanismi sottostanti che causano queste varietà.
• Lo studio è limitato a quattro domini percettivi e a specifiche architetture.
• L'allineamento geometrico con le baseline umane è interpretato come evidenza di un'organizzazione rappresentazionale strutturalmente simile, non come prova di una percezione soggettiva simile a quella umana.

Il lavoro suggerisce che i modelli linguistici codificano implicitamente strutture percettive attraverso le regolarità statistiche del linguaggio, organizzando queste strutture in modo transitorio e dipendente dalla profondità, che rispecchia, pur differendone, la stabilità percettiva umana.