Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents

Sintesi Tecnica: Consenso Lessicale

Problematica
La valutazione attuale dell'intelligenza artificiale è prevalentemente organizzata attorno alla performance sui task, l'accuratezza nei benchmark e l'imitazione comportamentale. Sebbene preziosi, questi parametri non affrontano una questione più profonda: se un agente artificiale possa acquisire, stabilizzare e utilizzare nuovi significati lessicali derivati da un'esperienza situata (grounded). Nello specifico, rimane da chiarire se gli agenti possano apprendere nuove mappature parola-concetto da esempi visivi limitati, generalizzare tali mappature in modo bidirezionale (immagine-etichetta e etichetta-immagine) e stabilizzarle tra diversi agenti. Questo articolo affronta il divario tra la valutazione basata sull'imitazione e quella basata sull'acquisizione, chiedendosi se gli agenti possano acquisire il vocabolario del loro ambiente senza fare affidamento esclusivamente su etichette pre-caricate o definizioni specifiche per il task.

Metodologia
Il documento introduce il Consenso Lessicale, un framework sperimentale riproducibile progettato per valutare l'apprendimento lessicale situato su un substrato percettivo strutturato. Il framework isola l'acquisizione lessicale dall'apprendimento percettivo utilizzando un encoder percettivo congelato (DINOv2-small) per generare embedding visivi. Il design sperimentale include i seguenti componenti:

• Lessico Artificiale: Il sistema utilizza parole non comuni in stile Carroll (ad es. slithy, mimsy, vorpal) tratte dal vocabolario di Lewis Carroll. Queste etichette sono fonotatticamente plausibili ma sperimentalmente non ancorate al significato (ungrounded), entrando nel sistema come identificatori opachi per prevenire la fuga semantica (semantic leakage).
• Valutazione della Scultura Concettuale (Concept-Carving): Per testare se l'acquisizione sia una mera ridenominazione di cluster esistenti o se dipenda dalla coerenza percettiva, il framework definisce quattro livelli concettuali basati sulla relazione tra il concetto insegnato e la geometria percettiva congelata:
  1. Concetti nativi: Un'etichetta corrisponde a una categoria visiva nativa.
  2. Concetti quasi-disgiuntivi: Le etichette raggruppano categorie percettivamente coerenti (sovraestensioni).
  3. Concetti mediamente disgiuntivi: Le etichette raggruppano categorie con distanza percettiva intermedia.
  4. Concetti fortemente disgiuntivi: Le etichette raggruppano categorie percettivamente distanti (unioni arbitrarie).
• Agenti Apprendenti: Lo studio impiega apprendenti lessicali interpretabili, inclusi apprendenti basati su centroidi (reti prototipiche con encoder congelati), apprendenti multi-centrotali, k-NN basato su esempi e baseline lineari (regressione logistica, SVM lineare).
• Grounding Bidirezionale: La valutazione avviene in due direzioni:
  • Condizione 1 (C1): Denominazione immagine-etichetta (assegnare l'etichetta corretta a una nuova immagine).
  • Condizione 2 (C2): Recupero etichetta-immagine (recuperare un'istanza valida da un pool di candidati data un'etichetta).
• Consenso Multi-Agente: Una popolazione di agenti addestrati su set iniziali disgiunti interagisce per raggiungere un consenso sull'uso delle etichette, misurato tramite soglie di accordo e metriche dell'informazione (entropia, informazione mutua).
• Controlli di Falsificazione: Il framework include controlli rigorosi come l'assegnazione di etichette casuali, embedding casuali, legami permutati tra immagini ed embedding, test di rifiuto per termini fuori vocabolario (OOV) e valutazioni di pool di candidati omogenei per escludere spiegazioni banali.

Contributi Chiave

1. Framework del Consenso Lessicale: Un'implementazione empirica vincolata del primo test di acquisizione del linguaggio proposto da Vera et al. (2023), che fornisce un protocollo misurabile per valutare come gli agenti acquisiscono, recuperano e stabilizzano mappature simili al linguaggio.
2. Gradiente di Coerenza Percettiva: La dimostrazione che l'acquisizione lessicale non è un apprendimento arbitrario di insiemi, ma segue un gradiente monotonico governato dalla coerenza percettiva.
3. Dissociazione tra Percezione e Semantica: Un esperimento pre-registrato su CIFAR-100 che conferma che l'accuratezza dell'acquisizione è guidata dalla distanza percettiva piuttosto che dalla vicinanza semantica.
4. Distinzione Bidirezionale: L'evidenza che la denominazione immagine-etichetta e il recupero etichetta-immagine espongono capacità distinte (compatibilità tra geometria del concetto e geometria concettuale vs. fedeltà della memoria).
5. Risultato Nullo sulla Ristrutturazione Rappresentazionale: Risultati che indicano che, sebbene gli agenti possano convergere su un uso condiviso del vocabolario, questo consenso non riorganizza sostanzialmente le rappresentazioni percettive interne sotto l'attuale architettura.

Risultati

• Gradiente di Acquisizione: L'accuratezza della denominazione (C1) segue un robusto gradiente di coerenza percettiva monotonico. Le categorie native sono acquisite con un'accuratezza quasi perfetta. Le sovraestensioni coerenti rimangono altamente apprendibili. I concetti mediamente disgiuntivi mostrano una parziale degradazione, mentre i concetti fortemente disgiuntivi degradano verso livelli prossimi al caso. Questo pattern si mantiene attraverso apprendenti basati su centroidi, esempi e lineari.
• Driver Percettivi vs. Semantici: Nell'esperimento di dissociazione, dove le distanze percettive e semantiche erano discordanti, l'accuratezza dell'acquisizione ha seguito il predittore percettivo (parte di $R^2 = 0,245, p < 10^{-7}$). Il predittore semantico non ha aggiunto alcun potere esplicativo significativo (parte di $R^2 = 0,002, p = 0,660$). Ciò conferma che il gradiente è una proprietà della geometria del substrato percettivo, non un artefatto di misurazione.
• Dinamiche di Recupero: Il recupero etichetta-immagine (C2) rivela una dimensione di fedeltà della memoria. I meccanismi basati su esempi superano costantemente i prototipi compressi dei centroidi, specialmente per concetti coerenti ma multimodali. Le baseline discriminative lineari recuperano una struttura aggiuntiva in presenza di pool di candidati difficili.
• Consenso e Allineamento: Gli esperimenti multi-agente mostano che gli agenti possono convergere su un vocabolario condiviso e che il feedback migliora l'accordo. Tuttavia, la baseline senza feedback raggiunge già un'elevata accuratezza di consenso, suggerendo che la geometria percettiva condivisa sia la forza stabilizzante dominante. Fondamentalmente, il feedback di consenso non riduce significativamente le distanze tra i centroidi inter-agente né rimodella le rappresentazioni interne.
• Falsificazione: L'effetto di grounding crolla quando gli embedding vengono randomizzati o i legami immagine-embedding vengono permutati, confermando che il corretto grounding dipende dal substrato percettivo e dal suo legame con le etichette.

Significatività e Rivendicazioni
Il paper posiziona il Consenso Lessicale non come una soluzione all'acquisizione completa del linguaggio artificiale, ma come uno scaffold empirico vincolato per studiare i confini dell'apprendimento lessicale situato.

La significatività primaria è la dimostrazione che l'acquisizione lessicale precoce è vincolata dalla coerenza percettiva. Gli agenti apprendono le etichette in modo più affidabile quando i concetti insegnati corrispondono a regioni coerenti dello spazio percettivo. Man mano che i concetti insegnati attraversano regioni distanti di quello spazio, le performance degradano. Ciò ridefinisce il ruolo del substrato percettivo: la sua struttura non è solo un confondimento da nascondere, ma la condizione sotto la quale l'acquisizione diventa misurabile.

Inoltre, il lavoro sostiene che l'accordo lessicale condiviso non dovrebbe essere interpretato eccessivamente come trasformazione rappresentazionale. Sebbene gli agenti possano coordinare le decisioni su una geometria percettiva condivisa, l'attuale architettura mostra che il feedback lessicale da solo non riorganizza gli embedding percettivi sottostanti.

In definitiva, il lavoro sostiene un passaggio dalla valutazione dell'IA basata su metriche di performance statiche a test basati sull'acquisizione che misurano come gli agenti acquisiscano, recuperino e stabilizzino il significato sotto vincoli percettivi. Stabilisce che, sebbene gli agenti possano acquisire e condividere mappature lessicali su una percezione congelata, l'ambito di ciò che può essere appreso è strettamente limitato dall'allineamento tra il concetto insegnato e la disponibile geometria percettiva.