🤖 machine learning

Sky sphere representation in language models

Questo articolo dimostra che i grandi modelli linguistici (~100B di parametri) possiedono una rappresentazione decodificabile di un manifold curvo ad alta dimensionalità del cielo notturno all'interno dei loro stream residui, capace di predire le prossimità celesti con un'accuratezza significativa e un basso errore angolare.

Autori originali: Aleksandr Berdnikov, Yevgeny Liokumovich

Pubblicato 2026-07-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aleksandr Berdnikov, Yevgeny Liokumovich

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una gigantesca biblioteca invisibile dove ogni libro è un pensiero diverso e gli scaffali sono disposti non per autore o titolo, ma in base a come le idee si sentono l'una rispetto all'altra. Questo è il mondo dell'interpretabilità meccanicistica, un campo in cui gli scienziati cercano di sbirciare dentro il "cervello" di un'intelligenza artificiale per vedere come organizza le informazioni. Sappiamo che questi modelli di IA, chiamati Large Language Models (LLM), sono incredibilmente bravi a scrivere e rispondere a domande, ma sono spesso come scatole nere: vediamo l'input e l'output, ma la parte centrale è un mistero.

Per comprendere questo mistero, i ricercatori utilizzano strumenti come i sonde lineari (linear probes), che agiscono come metal detector, scansionando i segnali interni dell'IA per vedere se nascondono schemi semplici e rettilinei (come una lista di numeri). Ma a volte, gli schemi non sono linee rette; sono curve, cicli o forme. Pensa a questo come al tentativo di mappare la Terra. Se provi a disegnare l'intero mondo su un foglio di carta piatto, ottieni una mappa che allunga e schiaccia le cose. Ma se disegni su un globo, le distanze e le relazioni sono perfette. Gli scienziati hanno scoperto che le IA a volte usano queste forme "simili a un globo" per organizzare i concetti, come ad esempio disporre i giorni della settimana in un cerchio in modo che il modello possa calcolare facilmente che "venerdì più due giorni" è "domenica".

La grande domanda è: quanto è profonda questa capacità di pensiero geometrico? L'IA sta solo memorizzando fatti, o sta costruendo una mappa mentale del mondo che assomiglia a una vera sfera? È qui che un nuovo studio interviene per esplorare il cielo notturno.

La Mappa Stellare Segreta dell'IA

In un recente articolo intitolato "Sky sphere representation in language models", i ricercatori Aleksandr Berdnikov e Yevgeny Liokhumovich hanno deciso di testare se massicci modelli di IA (specificamente quelli con circa 100 miliardi di parametri) abbiano costruito segretamente una mappa 3D del cielo notturno dentro i loro cervelli. Non hanno chiesto all'IA di recitare coordinate o di disegnare un'immagine. Invece, le hanno posto domande semplici e colloquiali come: "Cosa c'è vicino a questo oggetto nel cielo notturno?" o "Gli astrofili vedono X proprio accanto a...".

Hanno sottoposto queste domande a sette diversi modelli di IA open-source, inclusi giganti come Mistral Large 2 e Qwen3. Mentre l'IA elaborava queste parole, i ricercatori osservavano lo "stream residuo" (residual stream) — un'autostrada di dati ad alta velocità all'interno del modello dove le informazioni fluiscono da uno strato all'altro. Cercavano un segnale specifico: un modello che somigliasse a una sfera, dove stelle e costellazioni fossero disposte esattamente come nel cielo reale.

La Scoperta: Un Globo Nascosto
I risultati sono stati sorprendenti. In quasi tutti i modelli testati, l'IA aveva effettivamente una rappresentazione del cielo notturno. Quando i ricercatori hanno esaminato gli strati superiori dell'elaborazione dell'IA, hanno scoperto che le posizioni delle stelle e delle costellazioni erano disposte su una superficie curva e sferica, proprio come la reale sfera celeste.

Non era solo un debole eco. I ricercatori sono riusciti a decodificare questa mappa nascosta con un'accuratezza impressionante. Nella maggior parte dei modelli, potevano prevedere la posizione di una stella o di una costellazione con un errore di soli 12° - 21° (circa la larghezza del tuo pugno tenuto a braccio teso). Il modello spiegava tra il 65% e l'85% della varianza dei dati, il che significa che la forma sferica era una caratteristica molto forte e dominante nel processo di pensiero dell'IA.

Perché è Speciale
Prima di allora, gli scienziati avevano scoperto che le IA utilizzano mappe piatte (come una tabella 2D degli stati degli USA) o semplici cerchi (come i giorni della settimana). Questa è la prima volta che qualcuno ha trovato una sfera curva e ad alta dimensionalità che non sia solo una combinazione di linee più semplici. È come se l'IA non avesse solo memorizzato un elenco di nomi di stelle; avesse costruito un "globo" mentale per capire quanto le cose siano vicine tra loro nel cielo.

Cosa NON è
I ricercatori sono stati molto attenti a escludere altre possibilità. Si sono chiesti: "L'IA sta solo ricordando le stringhe di testo 'Ascensione Retta' e 'Declinazione' (le coordinate usate dagli astronomi) e le sta disponendo in una tabella 2D piatta?".

La Mappa Piatta Esclusa: Hanno testato questo aspetto cercando una linea "discontinua" che esisterebbe su una mappa piatta (come il bordo del mondo su una mappa cartacea). Non hanno trovato alcuna prova di ciò. L'IA non stava usando una tabella 2D piatta; stava usando davvero una sfera.
La Distanza 3D Esclusa: Hanno anche controllato se l'IA stesse mappando la distanza reale delle stelle dalla Terra (alcune sono lontane anni luce, altre sono più vicine). Hanno scoperto che la mappa dell'IA non teneva conto della distanza reale nel mondo. Invezione, la "profondità" della sfera sembrava essere influenzata dalla frequenza con cui l'oggetto viene menzionato nel testo o dal tipo di oggetto: le stelle erano posizionate "più vicine" nella mappa, mentre le costellazioni erano posizionate "più lontane".

Il Mistero di "Gpt-Oss"
C'era un elemento anomalo nel gruppo: un modello chiamato gpt-oss-120b. In questo modello specifico, la mappa stellare era molto più difficile da trovare. I ricercatori sospettano che ciò sia dovuto al fatto che questo modello è stato addestrato su un formato "harmony" speciale (un modo specifico di formattare le conversazioni), piuttosto che su testo grezzo, il che potrebbe aver rimescolato il segnale. Tuttavia, quando interrogato direttamente sulle coordinate stellari, questo modello era comunque molto bravo a rispondere, suggerendo che conosce i fatti, ma semplicemente non li organizza in una sfera visibile nello stesso modo degli altri.

Perché è Importante
Questa scoperta suggerisce che, quando chiediamo a un'IA informazioni sul cielo notturno, non sta solo consultando un database. Sta accedendo a una comprensione geometrica strutturata della prossimità. I ricercatori hanno scoperto che questa "mappa stellare" diventa più visibile quando l'IA viene interrogata sulla vicinanza (ad esempio, "cosa c'è accanto a X?"). Se si pongono domande generiche come "Qual è la storia di X?", la mappa svanisce e affonda nel rumore.

In breve, questi massicci modelli di IA hanno imparato spontaneamente a disporre il cielo notturno su una sfera all'interno delle loro reti neurali. È un bellissimo esempio di come l'IA possa sviluppare la propria geometria interna per dare un senso al mondo, creando una mappa curva e 3D delle stelle che è sorprendentemente accurata, nonostante non le sia mai stata esplicitamente insegnata.

Sintesi Tecnica: Rappresentazione della Sfera Celeste nei Modelli di Linguaggio

Problema
La ricerca sulla interpretabilità meccanicistica cerca di comprendere come i Large Language Models (LLM) rappresentino i concetti all'interno dei loro spazi di attivazione ad alta dimensionalità. Sebbene i metodi lineari (ad es., probe, autoencoder sparsi) e i metodi basati sul deep learning (ad es., autoencoder di linguaggio naturale) abbiano identificato varie strutture, rimane un divario nella comprensione delle varietà di feature (feature manifolds) non lineari e curve. Le precedenti scoperte di rappresentazioni geometriche negli LLM si sono limitate ampiamente a strutture piatte (ad es., continenti, stati degli USA, spazio cromatico) o varietà monodimensionali (ad es., giorni della settimana, mesi, lunghezza delle frasi). Questo articolo investiga se gli LLM possiedano una rappresentazione del cielo notturno che corrisponda alla geometria sferica degli oggetti celesti, testando specificamente se le posizioni di stelle e costellazioni siano codificate come una varietà curva e ad alta dimensionalità nel residual stream.

Metodologia
Gli autori hanno analizzato sette LLM open-source con parametri compresi tra 32B e 235B (inclusi Qwen3, Llama-3.3, Mixtral, Mistral Large 2, GLM-4.5-Air e gpt-oss-120b). La pipeline sperimentale ha previsto le seguenti fasi:

Costruzione del Dataset: È stato creato un dataset di 188 oggetti astronomici, composto da 85 stelle luminose, 88 costellazioni ufficiali e 15 oggetti miscuiti (galassie, nebulose, ammassi).
Prompt Engineering: Gli oggetti sono stati inseriti nei modelli utilizzando 25 diversi template di prompt focalizzati sulla prossimità nel cielo notturno (ad es., "la costellazione più vicina a X è", "gli astrofili vedono X proprio accanto a"). Fondamentalmente, questi prompt evitavano stringhe di coordinate esplicite (Ascensione Retta/Declinazione) per garantire che il modello non stesse semplicemente richiamando le coordinate dai dati di addestramento, ma piuttosto recuperando una nozione concettuale di prossimità.
Estrazione delle Feature: Per ogni prompt, i vettori del residual stream al token finale sono stati estratti attraverso tutti i layer. Sono state calcolate le prime 128 Componenti Principali (PC) per ogni layer.
Analisi della Decodificabilità: Gli autori hanno impiegato una strategia di validazione Leave-One-Out (LOO). Hanno addestrato un modello di regressione lineare per mappare le prime $n$ componenti PCA (dove $n \in \{4, 8, 128\}$ ) del residual stream alle vere coordinate della sfera unitaria 3D degli oggetti. L'oggetto escluso era poi predetto, e le prestazioni sono state misurate utilizzando il punteggio $R^2$ (varianza spiegata) e l'errore angolare mediano.
Test delle Ipotesi Alternative: Per verificare che la rappresentazione non fosse un "leak" (perdita) da una mappa 2D piatta (RA/Dec) o da una mappa 3D euclidea, gli autori hanno eseguito un'analisi RDM (Representational Dissimilarity Matrix). Hanno testato se la dimensione discontinua inerente alle mappe piatte o la componente di distanza radiale delle mappe 3D fossero presenti nelle prime componenti PCA.

Risultati Chiave

Esistenza della Varietà Sferica: In sei dei sette modelli testati, una rappresentazione sferica del cielo notturno è stata decodificabile con successo dal residual stream. La rappresentazione emerge tipicamente nelle prime 8 componenti principali.
Metriche di Prestazione: Per i modelli con successo, la validazione LOO ha prodotto punteggi $R^2$ compresi tra il 65% e l'85%. L'errore angolare mediano per la predizione della posizione di oggetti non visti è stato compreso tra $12^\circ$ e $21^\circ$ .
Profondità del Layer: La rappresentazione era debole e dispersa in molte componenti nei primi layer, ma si è rafforzata e consolidata nelle prime $\sim8$ PC nei layer più profondi (ad es., il layer 66 in Mistral Large 2).
Dipendenza dal Prompt: Il segnale dipendeva fortemente dalla formulazione del prompt. Utilizzando prompt generici (ad es., "l'età di X è..."), la rappresentazione si indeboliva significativamente, fallendo nel comparire nelle prime 8 PC e decadendo nei layer più profondi.
Esclusione di Alternative:
- Mappe Piatte: L'analisi RDM ha mostrato che la dimensione discontinua richiesta per una mappa 2D piatta (Ascensione Retta) aveva coefficienti vicini allo zero o negativi nello spazio PCA delle prime 8 componenti, escludendo una rappresentazione di mappa piatta.
- Mappe Euclidee 3D: Non è stata trovata alcuna correlazione significativa tra la componente radiale della rappresentazione e la reale distanza fisica dalle stelle. Inveve, la componente radiale correla con il tipo di oggetto (costellazioni posizionate più lontano, stelle più vicine) e la frequenza testuale.
Anomalie del Modello: Il modello gpt-oss-120b ha mostrato una scarsa decodificabilità della varietà sferica. Tuttavia, gli autori hanno notato che questo modello performa bene quando gli vengono chieste esplicitamente le coordinate, suggerendo che il problema risieda nella struttura specifica della rappresentazione piuttosto che in una mancanza di conoscenza.

Significato e Rivendicazioni
L'articolo sostiene di presentare il primo esempio noto di una varietà di feature curva, ad alta dimensionalità e irriducibile nei modelli di linguaggio. A differenza delle precedenti scoperte di varietà piatte o 1D, questa rappresentazione cattura la geometria sferica intrinseca del cielo notturno senza fare affidamento su stringhe di coordinate esplicite nell'input.

Gli autori sottolineano che questa rappresentazione non è un banale eco delle coordinate presenti nei dati di addestramento, ma riflette probabilmente un concetto appreso di "prossimità" per gli oggetti del cielo notturno. Posizionano questo lavoro come una via di mezzo tra gli strumenti di interpretabilità: catturare strutture non lineari pur rimanendo espliciti e ispezionabili dall'uomo tramite probe lineari sulle componenti principali. Lo studio lascia aperte questioni riguardanti il meccanismo di costruzione (memorizzazione vs ragionamento) e il ruolo funzionale di questa rappresentazione nel processo di ragionamento del modello, notando che la capacità dei modelli di rispondere direttamente a domande sulle coordinate supera di gran lunga l'accuratezza della varietà decodificabile.

La Mappa Stellare Segreta dell'IA

Sintesi Tecnica: Rappresentazione della Sfera Celeste nei Modelli di Linguaggio

Articoli simili