TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

1. Énoncé du problème

L'article comble une lacune critique dans l'alignement humain–IA : plus précisément, l'alignement perceptif. Alors que des progrès significatifs ont été réalisés pour aligner l'IA sur les valeurs, les objectifs et la perception visuelle des humains, l'alignement de l'IA avec la perception tactile humaine reste largement inexploré.

• Le Défi : Contrairement à la vision (qui peut être quantifiée via des valeurs RVB) ou à l'ouïe (échelles de fréquence), le toucher est multidimensionnel, dépendant du contexte et dépourvu de normes universelles. Les descripteurs tactiles (par exemple, « doux », « rugueux ») sont souvent métaphoriques et subjectifs.
• La Question Centrale : Les grands modèles de langage (LLM), entraînés sur d'immenses corpus textuels, possèdent-ils une représentation interne des expériences tactiles qui s'aligne sur les jugements subjectifs humains ? Un LLM peut-il comprendre que « le satin de soie est plus doux que le denim en coton » uniquement sur la base de descriptions textuelles du toucher ?
• Le Risque : À mesure que les systèmes d'IA médiatisent de plus en plus les interactions physiques (par exemple, la manipulation robotique, les recommandations de produits personnalisées), un manque d'alignement perceptif pourrait entraîner des expériences utilisateur peu fiables ou frustrantes.

2. Méthodologie

Les auteurs ont conçu une tâche interactive novatrice intitulée « Devinez quel textile ? » pour évaluer l'alignement perceptif entre les humains et les LLM.

A. Conception du système et flux de la tâche

• Configuration : Les participants interagissent avec un système d'IA personnalisé dans un environnement de laboratoire contrôlé. Ils manipulent deux échantillons de textile à l'intérieur d'une boîte noire (pour éliminer les indices visuels) : une Cible (inconnue de l'IA) et une Référence (connue de l'IA).
• Interaction : Les participants décrivent verbalement les différences tactiles entre les deux tissus.
• Mécanisme de l'IA :
  1. Encodage : Le système utilise le modèle OpenAI text-embedding-3-small pour convertir les 20 descriptions textiles possibles en embeddings vectoriels pré-calculés ($E_{textiles}$).
  2. Recherche vectorielle : La description comparative du participant est encodée en un vecteur de différence ($v_{diff}$). Le système combine ce vecteur avec celui du textile de référence ($v_{ref}$) en utilisant une formule de décalage directionnel :
     $$\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$$
     (où $\alpha=2$ est un facteur d'échelle).
  3. Prédiction : Le système calcule la similarité cosinus entre le vecteur prédit et les 20 embeddings textiles, sélectionnant l'ID ayant la similarité la plus élevée comme sa devinette.
  4. Itération : Si la devinette est incorrecte, le textile deviné devient la nouvelle référence, et le processus se répète (jusqu'à 5 tentatives).

B. Configuration expérimentale

• Participants : 40 participants (non-experts, origines diverses) recrutés pour une étude en présentiel.
• Stimuli : 20 échantillons de textiles distincts couvrant quatre méta-catégories (Naturel, Animal, Régénéré, Synthétique), incluant des matériaux comme le satin de soie, le denim en coton, la laine et le faux cuir.
• Métriques :
  1. Taux de réussite : L'IA a-t-elle deviné le bon textile en moins de 5 tentatives ?
  2. Validité : (Subjective) Dans quelle mesure la devinette de l'IA correspondait-elle à la description verbale du participant (échelle de 1 à 10) ?
  3. Similarité : (Subjective) À quel point le textile deviné était-il perceptuellement proche de la cible réelle (échelle de 1 à 10) ?
• Analyse : L'étude a employé une analyse linguistique (TF-IDF, Sentence-BERT, embeddings OpenAI) pour vérifier si la cohérence des descriptions influençait les performances de l'IA. Elle a également utilisé le Mise à l'échelle multidimensionnelle (MDS) et le Clustering hiérarchique pour comparer la géométrie de l'espace perceptif humain versus l'espace sémantique de l'IA.

3. Contributions clés

1. Première exploration de l'alignement tactile : Il s'agit de la première étude à investiguer systématiquement le niveau d'alignement perceptif entre les expériences tactiles humaines et les représentations des LLM en utilisant une tâche interactive comparative.
2. Cartographie du sensoriel vers l'espace d'embedding : Les auteurs ont réussi à mapper les descriptions tactiles dans les espaces d'embedding des LLM et à mesurer les similarités de représentation, révélant que les LLM présentent des biais perceptifs systématiques dépendants du matériau.
3. Conception de tâche interactive : L'article introduit un cadre « Devinez quel textile » qui reflète des scénarios de la vie réelle (par exemple, choisir des vêtements ou des tissus) et peut être adapté à d'autres domaines sensoriels (nourriture, parfums).
4. Preuve empirique de biais : L'étude fournit des preuves quantitatives que les LLM ne sont pas uniformément « aveugles » au toucher, mais sont hautement inconstants, performants sur certains matériaux (par exemple, la soie) et défaillants sur d'autres (par exemple, le denim).

4. Résultats clés

A. Performance globale

• Faible taux de réussite : L'IA a atteint un taux de réussite de 22,5 % (18/80 tâches), statistiquement indiscernable d'une devinette aléatoire (base de 23,7 %).
• Notes subjectives :
  • Validité : Score moyen de 5,27/10 (non significativement différent de la neutralité).
  • Similarité : Score moyen de 4,77/10 (significativement en dessous de la neutralité).
  • Corrélation : La validité et la similarité étaient fortement corrélées ($r=0,758$), suggérant que lorsque l'IA mal interprétait la description, la devinette résultante était également perceptivement éloignée.

B. Biais spécifique au matériau

• Alignement élevé : Le satin de soie a atteint un taux de réussite de 100 %. L'espace d'embedding du LLM semble avoir des représentations fortes et bien définies pour ce matériau, probablement en raison d'associations textuelles riches dans les données d'entraînement.
• Alignement faible : Le denim en coton, le faux cuir et la fausse fourrure ont eu des taux de réussite de 0 %. Le modèle n'a pas réussi à distinguer ces matériaux malgré des descriptions claires fournies par les participants.
• Matrice de confusion : L'IA a montré une tendance à prédire des textures spécifiques « populaires » (comme le lin uni ou le crêpe de soie) indépendamment de la cible réelle, indiquant un biais vers certains clusters dans l'espace d'embedding.

C. Géométrie de l'espace humain vs IA

• Alignement structurel faible : Bien que l'IA ait capturé des connaissances catégorielles larges (par exemple, regrouper les laines ensemble), elle n'a pas réussi à reproduire les relations perceptives fines perçues par les humains.
• Voisins locaux : Seuls 30 % des « plus proches voisins » (textiles les plus similaires) dans l'espace de l'IA correspondaient à ceux de l'espace perceptif humain.
• Corrélation : La corrélation entre les notes de similarité humaines et la similarité sémantique de l'IA était modérée ($r=0,441$), expliquant seulement environ 19,5 % de la variance.

D. Causes du désalignement

• Rareté des données d'entraînement : Une analyse de corpus de WikiText-103 et BookCorpus a révélé que les termes textiles/tactiles apparaissent 0,0033 %–0,0018 % du temps, tandis que les termes de couleur apparaissent 0,15 %–0,04 %. Le manque de données tactiles dans les corpus d'entraînement est un facteur principal du désalignement.
• Clustering linguistique vs perceptif : Les LLM regroupent les textiles en fonction de la similarité linguistique/catégorielle (par exemple, « coton » et « lin » sont tous deux des fibres naturelles) plutôt que de la similarité perceptuelle (comment ils se sentent réellement).

5. Signification et implications

• Limites des modèles uniquement textuels : L'étude démontre que les LLM actuels ne peuvent pas encoder pleinement l'« espace du toucher ». Ils reposent sur des associations linguistiques plutôt que sur une compréhension physique incarnée.
• Alignement spécifique à la modalité : L'alignement perceptif ne peut pas être supposé se généraliser à travers les modalités. Un modèle aligné pour la vision peut rester « aveugle » au toucher.
• Besoin d'ancrage multimodal : Pour atteindre un alignement robuste, les futurs systèmes d'IA doivent intégrer des données sensorielles multimodales (visuelles, haptiques, auditives) plutôt que de se fier uniquement au texte.
• Contraintes éthiques et de sécurité : Les auteurs ont noté que les filtres de sécurité dans les modèles (par exemple, GPT-4) bloquaient parfois les descriptions tactiles en raison d'associations avec du contenu sexuel, entravant la recherche. Cela souligne la nécessité de garde-fous nuancés permettant une recherche sensorielle légitime.
• Voies futures : L'article appelle à la création de jeux de données à grande échelle et diversifiés de descriptions tactiles et au développement de Modèles de Langage Multimodaux (MLLM) capables de combler le fossé entre le langage et la sensation physique.

En conclusion, TouchAI révèle que, bien que les LLM possèdent une certaine connaissance latente du toucher, leur alignement perceptif avec les humains est systématiquement biaisé et incomplet. Atteindre un véritable alignement humain–IA dans le monde physique nécessite de dépasser les représentations basées sur le texte pour inclure un apprentissage incarné et multimodal.