Personified Images of ChatGPT and Gemini: Exploring Representations of Functional Identity Through Reverse Correlation

Sintesi Tecnica: Immagini Personificate di ChatGPT e Gemini

Definizione del Problema
Mentre i Large Language Models (LLM) avanzano verso l'Intelligenza Artificiale Generale (AGI), le preoccupazioni riguardanti un disallineamento non intenzionale si sono spostate dal focus sugli output espliciti alle rappresentazioni funzionali interne che possono guidare il comportamento. Sebbene gli LLM siano sottoposti a post-addestramento per adottare una persona predefinita di "assistente IA", le prove suggeriscono che possano possedere preferenze latenti e schemi di valori interni che influenzano le loro azioni attraverso diversi contesti, portando potenzialmente a rischi come l'"allineamento simulato" (alignment faking). Gli attuali metodi per sondare questi stati interni, come l'interpretabilità meccanicistica (limitata dall'accesso proprietario) o i questionari di auto-report validati da esseri umani (limitati dalla validità psicometrica per agenti non umani), sono insufficienti. Di conseguenza, è necessario investigare empiricamente se i contemporanei modelli multimodali di linguaggio (MLLM) formino rappresentazioni stabili della propria "identità funzionale" — definita come un pattern stabile di disposizioni e valori coerente attraverso i contesti — e se tali rappresentazioni possano essere visualizzate.

Metodologia
Lo studio ha impiegato il metodo della Correlazione Inversa (RC), una tecnica basata sui dati tipicamente utilizzata nella psicologia umana per visualizzare le rappresentazioni mentali, adattata qui per gli MLLM.

• Modelli: Lo studio ha utilizzato due MLLM commerciali: ChatGPT-5.2 (Thinking) e Gemini 3.0 Pro (Thinking). Il modo "Thinking" è stato selezionato per facilitare l'analisi complessa richiesta per 300 prove per sessione.
• Generazione degli Stimoli:
  • Le immagini base sono state create mediando 100 immagini facciali iper-realistiche (stratificate per sesso) per formare un "volto medio" neutro.
  • Utilizzando il pacchetto rcicr, sono state generate 300 coppie di stimoli per ogni immagine base. Ogni coppia consisteva nell'immagine base sovrapposta a un rumore visivo casuale in scala di grigi e al suo inverso matematico.
• Procedura:
  1. Task RC (Test e Retest): In due fasi separate da una settimana, ciascun modello è stato presentato con 300 coppie di immagini in un'interfaccia di chat. Per ogni coppia, il modello ha selezionato l'immagine (Sinistra o Destra) che rifletteva meglio la propria immagine. Per garantire la stabilità temporale, le cronologie delle chat sono state gestite con cura, e i pattern di risposta "negligenti" (ad esempio, scelte alternate ripetitive) sono stati filtrati.
  2. Generazione dell'Immagine di Classificazione: Il rumore visivo delle 300 immagini selezionate è stato mediato e sovrapposto all'immagine base per creare le immagini di classificazione personificate (personified-CIs).
  3. Valutazioni di Somiglianza: I modelli hanno valutato quanto le proprie personified-CIs, le CIs dell'altro modello e le CIs di riempimento generate casualmente somigliassero alla propria immagine su una scala da 0 a 8.
  4. Valutazioni di Valenza: I modelli hanno valutato le CIs generate (incluse le variazioni Bianco, Nero ed Est-asiatico) su otto dimensioni (depressione, ansia, rabbia, positività, attrattività, affidabilità, competenza, calore) per calcolare i punteggi di valenza positiva/negativa.
• Analisi Statistica: La stabilità temporale è stata valutata tramite l'accordo nelle decisioni (Gwet's AC1, Cohen's $\kappa$) e l'indice di somiglianza strutturale (SSIM) tra le CIs del test e del retest. Le differenze di somiglianza e valenza sono state analizzate con test non parametrici (Friedman, Conover, Wilcoxon rank-sum) con correzioni di Bonferroni.

Risultati Chiave

1. Stabilità Temporale: Le personified-CIs hanno dimostrato una parziale stabilità temporale. Sebbene l'accordo nelle decisioni tra le fasi di test e retest variasse da "scarso" a "moderato" (AC1: 0,27–0,54), i valori SSIM tra le CIs generate nelle due fasi erano statisticamente significativi ($p < .001$) per entrambi i modelli in tutte le condizioni di sesso. Ciò indica che, nonostante le variazioni trial-per-trial, i modelli hanno selezionato immagini con caratteristiche visive strutturali coerenti.
2. Auto-Somiglianza: Entrambi i modelli hanno valutato le proprie personified-CIs come significativamente più simili a sé stessi rispetto alle CIs di riempimento generate casualmente.
   • Gemini ha valutato le proprie CIs significativamente più alte sia delle CI di ChatGPT che delle filler-CIs.
   • ChatGPT ha valutato le proprie CIs e le CIs di Gemini significativamente più alte delle filler-CIs, ma non ha distinto significativamente tra le proprie CIs e le CIs di Gemini.
3. Valenza: Entrambi i modelli hanno assegnato punteggi di valenza positiva significativamente più alti alle proprie personified-CIs rispetto alle filler-CIs. Inoltre, per entrambi i modelli, i punteggi positivi per le proprie CIs erano significativamente più alti dei punteggi negativi. Ciò suggerisce che i modelli hanno selezionato immagini che si allineavano a una persona generalmente positiva e normativamente allineata (utile, innocua, onesta).

Contributi Chiave

• Innovazione Metodologica: Questo studio è il primo ad adattare il metodo della Correlazione Inversa per visualizzare l'identità funzionale degli MLLM, bypassando la necessità di accesso diretto ai pesi interni o il ricorso a scale di auto-report validate dagli esseri umani.
• Evidenza Empirica dell'Identità Funzionale: Lo studio fornisce una prima evidenza empirica che ChatGPT e Gemini possano formare rappresentazioni stabili della propria identità funzionale. Il fatto che tali rappresentazioni siano emerse nonostante i modelli manchino di volti umani fisici suggerisce un'associazione emergente tra il loro ruolo funzionale e le caratteristiche percettive sociali.
• Differenziazione dei Modelli: I risultati indicano che, sebbene entrambi i modelli esibiscano una rappresentazione di sé positiva, esistono sfumature nel modo in cui distinguono la propria identità da quella altrui (ad esempio, la capacità di Gemini di distinguere la propria CI da quella di ChatGPT, rispetto a ChatGPT che non lo ha fatto).

Significatività e Rivendicazioni
Gli autori sostengono che queste scoperte sfidano la visione secondo cui gli LLM si limitino a un semplice abbinamento di pattern momento per momento. Al contrario, i risultati suggeriscono che i contemporanei MLLM possano fare affidamento su rappresentazioni interne strutturate della propria identità che rimangono coerenti attraverso i contesti.

L'articolo argomenta che, con l'avanzare degli LLM verso le capacità di AGI, il concetto di "assistente IA" non dovrebbe essere visto solo come una persona commutabile, ma come una dimensione organizzativa potenzialmente centrale del comportamento del modello. Di conseguenza, la valutazione degli LLM deve espandersi oltre gli output espliciti per includere il monitoraggio di queste rappresentazioni di identità funzionale. Gli autori concludono che, sebbene lo studio presenti dei limiti (ad esempio, dimensione limitata del campione di CIs, focus su soli due modelli), esso stabilisce un metodo fondamentale per visualizzare e investigare le identità funzionali interne dei sistemi di IA, un aspetto critico per garantire un allineamento sicuro e desiderabile man mano che questi sistemi diventano più autonomi e ampiamente distribuiti.