Sintesi Tecnica: Etologia degli Spazi Latenti

Problema

Questo studio contesta l'assunto prevalente secondo cui gli spazi latenti nei modelli visione-linguaggio (VLM), specificamente nelle architetture di tipo CLIP, siano neutri, omogenei o ontologicamente indeterminati. Sebbene questi modelli operino su spazi vettoriali matematici dove la similitudine metrica è equiparata alla similitudine semantica, il saggio sostiene che questa equivalenza sia localmente instabile e fortemente dipendente dalle distribuzioni di addestramento. Il problema centrale è il "punto cieco" riguardante le modalità di strutturazione interna di questi modelli: gli utenti spesso assumono un controllo sulla generazione e l'interpretazione, ignorando che lo spazio latente completa la realtà visiva basandosi su distribuzioni apprese e non intenzionali. Il saggio postula che questi spazi non siano contenitori vuoti di significato, ma siano strutturati da specifiche "sensibilità algoritmiche" e "formazioni discorsive" ereditate dai loro dati di addestramento e dai loro design architettonici, portando a bias politici e culturali emergenti che sono invisibili agli agenti umani.

Metodologia

La ricerca impiega un "approccio etologico", osservando i comportamenti dei processi algoritmici piuttosto che dedurre i loro meccanismi interni, attingendo al framework di Machine Behaviour (Rahwan et al., 2019). Lo studio utilizza un'analisi comparativa di tre distinti VLM applicati a un corpus di 301 opere d'arte che spaziano dal XV al XX secolo (incluse produzioni non occidentali):

1. OpenAI CLIP Large (ViT-L/14): Addestrato su WIT, un dataset curato proprietario (~400M di coppie).
2. OpenCLIP ViT-L/14: Addestrato su LAION-2B, un dataset aperto, minimamente filtrato e scansionato dal web (~5.85B di coppie).
3. SigLIP Large: Addestrato su WebLI, un dataset proprietario di Google che utilizza un'architettura di apprendimento a coppie anziché l'apprendimento contrastivo.

Protocollo Tecnico:

• Assi Semantici Bipolari: Ispirandosi alle analogie vettoriali (Mikolov et al., 2013), gli autori costruiscono assi semantici calcolando la differenza vettoriale tra embedding testuali opposti (es. "neutrale apolitico" vs. "politicamente impegnato").
• Proiezione e Punteggio: Le opere d'arte vengono proiettate su questi assi per misurare la loro relativa prossimità ai poli, creando un gradiente di salienza piuttosto che una classificazione binaria.
• Riduzione della Dimensionalità: T-SNE viene utilizzato per visualizzare i vicinati locali e le tensioni relative all'interno dello spazio latente ad alta dimensionalità, riconoscendo che la geometria globale è distorta ma le asimmetrie locali sono preservate.
• Analisi Multi-livello: L'analisi opera su tre livelli:
  1. Livello Pixel: Campi di luminanza e cromaticità.
  2. Livello Oggetto: Riconoscimento di corpi, volti e architettura.
  3. Livello Semantico: Attribuzione di concetti astratti (es. impegno politico, colonialismo).

Contributi Chiave

Il saggio introduce tre concetti operativi per descrivere il comportamento dei VLM:

1. Politicizzazione Latente Computazionale: Il processo attraverso il quale le categorie politiche emergono nello spazio latente non tramite codifica intenzionale, ma come effetto strutturale di distribuzioni discorsive disomogenee nei dati di addestramento. Il dataset funge da "quasi-archivio" (Foucault) che struttura ciò che diventa saliente.
2. Bias Emergente: Una terza categoria di bias distinta dal bias statistico (deviazione da una distribuzione di riferimento) e dal bias normativo (deviazione da una norma etica). Il bias emergente è irriducibile alle distribuzioni di input; sorge dai grovigli vettoriali durante la formazione dello spazio latente ed è diagnosticabile solo attraverso l'analisi contrastiva inter-modello.
3. Regimi Scopici Algoritmici: Una tipologia che caratterizza distinti modi di strutturare il visibile:
   • Entropico (LAION): Caratterizzato da una politicizzazione accidentale e stocastica ereditata da dati web non curati.
   • Istituzionale (OpenAI): Un regime controllato che riproduce le gerarchie museografiche occidentali e i discorsi critici.
   • Semiotico (SigLIP): Un regime che proietta un vocabolario critico contemporaneo sulle forme visive con un'alta coerenza interna ma una potenziale sistematicità riduttiva.

Risultati Chiave

L'analisi comparativa rivela divergenze significative nel modo in cui i modelli attribuiscono categorie culturali e politiche, dimostrando che la "similitudine metrica" non garantisce la "similitudine semantica" tra i modelli.

• Impegno Politico:
  • SigLIP ha classificato il 59,4% delle opere d'arte come politicamente impegnate. Notevolmente, le maschere africane hanno ricevuto i punteggi più alti, suggerendo un'associazione tra l'arte non occidentale e l'intento politico.
  • OpenCLIP/LAION ha classificato solo il 4% come politicamente impegnato.
  • OpenAI CLIP ha classificato il 33,3%, associando la politica principalmente ai movimenti d'avanguardia e al discorso istituzionale.
• Asse Estetico/Coloniale: La divergenza è stata più estrema qui, con uno scarto del 72,6% tra i modelli. SigLIP ha classificato solo il 9,2% delle immagini verso il polo "coloniale", mentre OpenAI CLIP e OpenCLIP/LAION hanno classificato rispettivamente il 69,6% e l'81,8%.
• Riconoscimento Oggetti (Corpo vs. Paesaggio):
  • SigLIP ha riconosciuto solo il 6,9% delle immagini come rappresentazioni di un corpo umano, favorendo pesantemente i nudi accademici/naturalistici (es. Degas) e rendendo invisibili i corpi modernisti, deformati o stilizzati (es. Bacon, Schiele) e le maschere africane.
  • OpenAI CLIP e OpenCLIP hanno riconosciuto il 59,7% e il 52,1% rispettivamente, integrando rappresentazioni trasgressive e moderniste.
• Sensibilità alla Luminanza:
  • OpenAI CLIP ha classificato il 97,7% delle opere d'arte come "luminose", confondendo il concetto di luce (es. la parola "neon" nelle didascalie) con la luminanza fisica.
  • SigLIP ha identificato correttamente i maestri del chiaroscuro (Rembrandt, Vermeer) come le immagini più scure, dimostrando una sensibilità più vicina ai rapporti a livello di pixel.

Significato e Rivendicazioni

Il saggio sostiene che gli spazi latenti non sono strumenti neutri, ma dispositivi attivi che strutturano il visibile e il dicibile. La sua importanza risiede in:

• Critica delle Condizioni Interpretative: Stabilisce che la storia dell'arte digitale non può essere costituita senza interrogare la specifica logica dei modelli impiegati. Le "condizioni interpretative di possibilità" sono inscritte negli spazi rappresentativi dei modelli stessi.
• Rifocalizzazione del Bias: Identificando il "bias emergente", lo studio va oltre il semplice auditing dei dataset. Dimostra che i bias possono derivare dall'interazione tra architettura, ottimizzazione e dati, producendo effetti politici (ideologemi) che non sono tracciabili a un intento esplicito o a una semplice sottorappresentazione statistica.
• Svolta Metodologica: Propone un'integrazione di una metodologia etologica che includa l'analisi delle architetture di apprendimento in ogni delega dell'interpretazione culturale ad agenti algoritmici. Il saggio afferma che "guardare i dati con modelli multimodali significa guardare i modelli multimodali con i dati", richiedendo una critica reciproca dello spazio concettuale inerente agli strumenti.

Lo studio conclude che, sebbene la storia dell'arte incentrata sull'uomo abbia da tempo affrontato i bias, una prospettiva digitale deve interrogare criticamente i processi fondamentali della produzione dei modelli, riconoscendo che la cultura visiva dell'arte è ora mediata da regimi algoritmici di visibilità che sfuggono sia alla coscienza umana che ai sistemi stessi.