💬 NLP

TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

Questo articolo esamina l'allineamento percettivo tra i grandi modelli linguistici e le esperienze tattili umane attraverso un compito denominato "Indovina il Tessuto", rivelando che, sebbene esista un certo grado di allineamento, questo varia significativamente tra i diversi tipi di tessuto e spesso non corrisponde alle percezioni soggettive umane.

Autori originali: Shu Zhong, Elia Gatti, Youngjun Cho, Marianna Obrist

Pubblicato 2026-04-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shu Zhong, Elia Gatti, Youngjun Cho, Marianna Obrist

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'idea principale: Può l'IA "sentire" ciò che sentiamo?

Immagina di dover insegnare a un robot cosa si prova a toccare una sciarpa di seta rispetto a un paio di jeans. Non puoi dare delle mani al robot, quindi devi descriverlo usando le parole. Dici: "La seta è liscia e scivolosa, come l'acqua", e "I jeans sono ruvidi e rigidi, come la carta vetrata".

Questo studio ha posto una domanda semplice: Se un essere umano descrive come si sente qualcosa, può un computer intelligente (un'IA) comprendere quella descrizione abbastanza bene da indovinare esattamente di quale oggetto si tratta?

I ricercatori hanno chiamato questo progetto "TouchAI". Volevano vedere se la "mappa mentale" dell'IA su come si sentono le cose corrisponda alla nostra mappa umana.

L'esperimento: Il "Gioco dell'indovinello alla cieca"

Per testare questo, i ricercatori hanno organizzato un gioco chiamato "Indovina il Tessile?".

L'allestimento: Un partecipante si sedeva a una scrivania con una scatola nera davanti. Non poteva vedere all'interno, poteva solo mettere la mano dentro.
Il compito: All'interno della scatola c'erano due pezzi di stoffa. Uno era un "riferimento" (l'IA sapeva cos'era, come un pezzo di cotone). L'altro era un "bersaglio" (l'IA non conosceva questo).
L'interazione: Il partecipante toccava entrambi i tessuti. Doveva poi descrivere all'IA la differenza tra loro.
- Esempio: "Il bersaglio si sente più morbido e liscio del riferimento in cotone."
Il turno dell'IA: L'IA ascoltava la descrizione, elaborava le parole e faceva un'ipotesi: "Penso che il bersaglio sia Satin di Seta".
Il risultato:
- Se l'IA aveva ragione, il gioco terminava.
- Se l'IA aveva torto, il "Satin di Seta" diventava il nuovo riferimento, e il partecipante doveva descrivere di nuovo il bersaglio, confrontandolo con la seta. L'IA riprovava. Potevano farlo fino a cinque volte.

Cosa hanno scoperto?

I risultati sono stati un misto di "non male" e "molto confusi".

1. L'IA indovina per lo più al buio.
Nel complesso, l'IA ha dato la risposta giusta solo nel 22,5% dei casi. Questo è appena meglio di quanto avrebbe fatto se avesse semplicemente chiuso gli occhi e scelto un tessuto a caso da un cappello. Questo suggerisce che i modelli di IA attuali non "sanno" davvero come si sente il tatto; indovinano per lo più basandosi su quanto spesso hanno visto quelle parole nei libri.

2. L'IA ha un tessuto "Preferito".
Qui è dove diventa interessante. L'IA non era ugualmente brava in tutto.

Il Vincitore: Quando il bersaglio era Satin di Seta, l'IA aveva ragione nel 100% dei casi.
I Perdenti: Quando il bersaglio era Denim di Cotone (jeans), l'IA aveva ragione nello 0% dei casi.

Analogia: Immagina uno studente che sostiene un esame. Ha risposto correttamente a tutte le domande sull'"Oro" perché ha memorizzato una poesia sull'oro. Ma ha sbagliato tutte le domande sulla "Sabbia" perché non ha mai letto nulla sulla sabbia. L'IA conosce l'"Oro" (la Seta) perché appare spesso in storie e film come "morbida e lucida". Non conosce la "Sabbia" (il Denim) perché le persone raramente scrivono storie dettagliate su come si sentono i jeans ruvidi.

3. La "Mappa Mentale" è distorta.
I ricercatori hanno esaminato come l'IA organizzava questi tessuti nel suo "cervello" (il suo spazio dati).

Mappa Umana: Noi raggruppiamo i tessuti in base a come si sentono. La seta e una sintetica morbida potrebbero essere vicini perché entrambi si sentono lisci.
Mappa IA: L'IA raggruppa i tessuti in base a come si chiamano o a quale categoria appartengono. Potrebbe mettere tutti i "cotoni" insieme e tutte le "sete" insieme, anche se un cotone specifico si sente molto diverso da un altro.

La Metafora: Pensa al cervello dell'IA come a una biblioteca dove i libri sono ordinati in base al colore della copertina (il nome del tessuto) piuttosto che al genere (come si sente). Gli umani ordinano per genere (sensazione); l'IA ordina per colore della copertina (nome).

Perché è importante?

Il documento spiega che questo accade perché il tatto è difficile da scrivere.

La visione è facile: Abbiamo un linguaggio universale per i colori. "Rosso" è sempre #FF0000. Possiamo descrivere una mela rossa in modo molto preciso.
Il tatto è disordinato: Parole come "morbido", "ruvido" o "burroso" sono vaghe. Il "morbido" di una persona è il "medio" di un'altra. Inoltre, le persone raramente scrivono lunghe descrizioni di come si sentono i loro jeans nelle loro email quotidiane o nei romanzi.

Poiché l'IA è stata addestrata su testo (libri, siti web, articoli), ha imparato molto su come le cose sembrano e suonano, ma molto poco su come le cose si sentono. È come cercare di imparare come si sente un elefante leggendo solo un libro sugli elefanti, ma non toccandone mai uno davvero.

La conclusione

Lo studio conclude che, sebbene l'IA stia diventando molto brava a comprendere le parole, è ancora brutta nel comprendere le sensazioni.

Può indovinare "Seta" perché la parola "Seta" è fortemente collegata a "morbido" nei suoi dati di addestramento.
Fallisce con il "Denim" perché la connessione tra la parola "Denim" e la sensazione di "ruvidità" non è abbastanza forte nel testo che ha letto.

I ricercatori affermano che affinché l'IA possa davvero aiutarci in futuro (come un robot che sceglie i vestiti per te), deve imparare più delle semplici parole. Deve comprendere il mondo fisico, non solo la sua descrizione. Fino ad allora, se chiedi a un'IA di scegliere un tessuto che si senta "proprio giusto", potrebbe semplicemente indovinare basandosi sulla parola più popolare che conosce, non su ciò che si sente davvero bene.

1. Enunciato del Problema

Il paper affronta un divario critico nell'allineamento Uomo–IA: nello specifico, l'allineamento percettivo. Sebbene siano stati compiuti progressi significativi nell'allineare l'IA ai valori umani, agli obiettivi e alla percezione visiva, l'allineamento dell'IA con la percezione tattile umana rimane in gran parte inesplorato.

La Sfida: A differenza della visione (che può essere quantificata tramite valori RGB) o dell'udito (scale di frequenza), il tatto è multidimensionale, dipendente dal contesto e privo di standard universali. I descrittori tattili (es. "morbido", "ruvido") sono spesso metaforici e soggettivi.
La Domanda Fondamentale: I Large Language Models (LLM), addestrati su vasti corpus testuali, possiedono una rappresentazione interna delle esperienze tattili che si allinea ai giudizi soggettivi umani? Un LLM può comprendere che "il raso di seta è più morbido del denim di cotone" basandosi esclusivamente su descrizioni testuali del tatto?
Il Rischio: Man mano che i sistemi di IA mediano sempre più le interazioni fisiche (es. manipolazione robotica, raccomandazioni di prodotti personalizzate), la mancanza di allineamento percettivo potrebbe portare a esperienze utente inaffidabili o frustranti.

2. Metodologia

Gli autori hanno progettato un nuovo compito interattivo chiamato "Indovina quale Tessile?" per valutare l'allineamento percettivo tra esseri umani e LLM.

A. Design del Sistema e Flusso del Compito

Setup: I partecipanti interagiscono con un sistema AI personalizzato in un ambiente di laboratorio controllato. Manipolano due campioni di tessuto all'interno di una scatola nera (per eliminare gli indizi visivi): un Target (sconosciuto all'IA) e un Riferimento (noto all'IA).
Interazione: I partecipanti descrivono verbalmente le differenze tattili tra i due tessuti.
Meccanismo AI:
1. Embedding: Il sistema utilizza il modello OpenAI text-embedding-3-small per convertire le 20 possibili descrizioni tessili in vettori di embedding pre-calcolati ( $E_{textiles}$ ).
2. Ricerca Vettoriale: La descrizione comparativa del partecipante viene codificata in un vettore di differenza ( $v_{diff}$ ). Il sistema combina questo con il vettore del tessuto di riferimento ( $v_{ref}$ ) utilizzando una formula di offset direzionale:
  $\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$
  (dove $\alpha=2$ è un fattore di scala).
3. Predizione: Il sistema calcola la similarità coseno tra il vettore predetto e tutti i 20 embedding tessili, selezionando l'ID con la similarità più alta come sua ipotesi.
4. Iterazione: Se l'ipotesi è errata, il tessuto ipotizzato diventa il nuovo riferimento e il processo si ripete (fino a 5 tentativi).

B. Setup Sperimentale

Partecipanti: 40 partecipanti (non esperti, background diversificati) reclutati per uno studio in presenza.
Stimoli: 20 campioni tessili distinti che coprono quattro meta-categorie (Naturale, Animale, Rigenerato, Sintetico), inclusi materiali come raso di seta, denim di cotone, lana e pelle sintetica.
Metriche:
1. Tasso di Successo: L'IA ha indovinato il tessuto corretto entro 5 tentativi?
2. Validità: (Soggettiva) Quanto bene l'ipotesi dell'IA corrispondeva alla descrizione verbale del partecipante (scala 1–10)?
3. Similarità: (Soggettiva) Quanto era percettivamente vicino il tessuto ipotizzato al target effettivo (scala 1–10)?
Analisi: Lo studio ha impiegato analisi linguistica (TF-IDF, Sentence-BERT, embedding OpenAI) per verificare se la coerenza delle descrizioni influenzasse le prestazioni dell'IA. Ha inoltre utilizzato Scalatura Multidimensionale (MDS) e Clustering Gerarchico per confrontare la geometria dello spazio percettivo umano con lo spazio semantico dell'IA.

3. Contributi Chiave

Prima Esplorazione dell'Allineamento Tattile: Questo è il primo studio a investigare sistematicamente il livello di allineamento percettivo tra le esperienze tattili umane e le rappresentazioni degli LLM utilizzando un compito interattivo e comparativo.
Mappatura Sensoriale allo Spazio di Embedding: Gli autori hanno mappato con successo le descrizioni tattili negli spazi di embedding degli LLM e misurato le similarità di rappresentazione, rivelando che gli LLM esibiscono bias percettivi sistematici dipendenti dal materiale.
Design del Compito Interattivo: Il paper introduce un framework "Indovina quale Tessile" che rispecchia scenari della vita reale (es. selezione di abbigliamento o tessuti) e può essere adattato per altri domini sensoriali (cibo, profumi).
Evidenza Empirica di Bias: Lo studio fornisce prove quantitative che gli LLM non sono uniformemente "ciechi" al tatto, ma sono altamente incoerenti, performando bene su alcuni materiali (es. seta) e fallendo su altri (es. denim).

4. Risultati Chiave

A. Prestazioni Complessive

Basso Tasso di Successo: L'IA ha raggiunto un tasso di successo del 22,5% (18/80 compiti), statisticamente indistinguibile da un indovinello casuale (baseline del 23,7%).
Valutazioni Soggettive:
- Validità: Punteggio medio di 5,27/10 (non significativamente diverso dal neutro).
- Similarità: Punteggio medio di 4,77/10 (significativamente inferiore al neutro).
- Correlazione: Validità e Similarità erano fortemente correlate ( $r=0,758$ ), suggerendo che quando l'IA fraintendeva la descrizione, anche l'ipotesi risultante era percettivamente distante.

B. Bias Specifico per Materiale

Alto Allineamento: Il raso di seta ha raggiunto un tasso di successo del 100%. Lo spazio di embedding dell'LLM sembra avere rappresentazioni forti e ben definite per questo materiale, probabilmente a causa di associazioni testuali ricche nei dati di addestramento.
Basso Allineamento: Denim di cotone, pelle sintetica e pelliccia sintetica hanno avuto tassi di successo dello 0%. Il modello non è riuscito a distinguere questi materiali nonostante i partecipanti fornissero descrizioni chiare.
Matrice di Confusione: L'IA ha mostrato una tendenza a predire specifiche texture "popolari" (come lino liscio o crepon di seta) indipendentemente dal target effettivo, indicando un bias verso specifici cluster nello spazio di embedding.

C. Geometria dello Spazio Umano vs. AI

Debole Allineamento Strutturale: Sebbene l'IA catturasse conoscenze categoriali ampie (es. raggruppando le lane insieme), non è riuscita a replicare le relazioni percettive fini percepite dagli umani.
Vicini Locali: Solo il 30% dei "vicini più prossimi" (tessuti più simili) nello spazio dell'IA corrispondeva a quelli nello spazio percettivo umano.
Correlazione: La correlazione tra le valutazioni di similarità umane e la similarità semantica dell'IA era moderata ( $r=0,441$ ), spiegando solo circa il 19,5% della varianza.

D. Cause del Disallineamento

Scarsità dei Dati di Addestramento: Un'analisi del corpus di WikiText-103 e BookCorpus ha rivelato che i termini tessili/tattili compaiono 0,0033%–0,0018% delle volte, mentre i termini di colore compaiono 0,15%–0,04%. La mancanza di dati tattili nei corpus di addestramento è un driver primario del disallineamento.
Clustering Linguistico vs. Percettivo: Gli LLM raggruppano i tessuti basandosi sulla similarità linguistica/categorica (es. "cotone" e "lino" sono entrambi fibre naturali) piuttosto che sulla similarità percettiva (come si sentono effettivamente).

5. Significato e Implicazioni

Limiti dei Modelli Solo Testo: Lo studio dimostra che gli attuali LLM non possono codificare completamente lo "spazio tattile". Si affidano ad associazioni linguistiche piuttosto che a una comprensione fisica incarnata.
Allineamento Specifico per Modaltà: L'allineamento percettivo non può essere assunto come generalizzabile tra le modalità. Un modello allineato per la visione può rimanere "cieco" al tatto.
Necessità di Grounding Multimodale: Per raggiungere un allineamento robusto, i futuri sistemi di IA devono integrare dati sensoriali multimodali (visivi, aptici, uditivi) invece di affidarsi esclusivamente al testo.
Vincoli Etici e di Sicurezza: Gli autori hanno notato che i filtri di sicurezza nei modelli (es. GPT-4) a volte bloccavano descrizioni tattili a causa di associazioni con contenuti sessuali, ostacolando la ricerca. Ciò evidenzia la necessità di salvaguardie sfumate che permettano ricerche sensoriali legittime.
Direzioni Future: Il paper invita alla creazione di dataset su larga scala e diversificati di descrizioni tattili e allo sviluppo di Multimodal Large Language Models (MLLM) in grado di colmare il divario tra linguaggio e sensazione fisica.

In conclusione, TouchAI rivela che, sebbene gli LLM possiedano una certa conoscenza latente del tatto, il loro allineamento percettivo con gli umani è sistematicamente distorto e incompleto. Raggiungere un vero allineamento Uomo-IA nel mondo fisico richiede di andare oltre le rappresentazioni basate sul testo per includere l'apprendimento incarnato e multimodale.