TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

1. Probleemstelling

Het paper adresseert een kritieke kloof in mens-AI-uitlijning: specifiek, perceptuele uitlijning. Hoewel aanzienlijke vooruitgang is geboekt in het uitlijnen van AI met menselijke waarden, doelen en visuele perceptie, blijft de uitlijning van AI met menselijke tactiele perceptie grotendeels onontgonnen.

• De Uitdaging: In tegenstelling tot zicht (dat via RGB-waarden kan worden gekwantificeerd) of gehoor (frequentieschalen), is aanraking multidimensionaal, contextafhankelijk en ontbreekt het universele standaarden. Tactiele beschrijvingen (bijv. "zacht", "ruw") zijn vaak metaforisch en subjectief.
• De Kernvraag: Bezitten Large Language Models (LLM's), die zijn getraind op enorme tekstcorpora, een interne representatie van tactiele ervaringen die overeenkomt met menselijke subjectieve oordelen? Kan een LLM begrijpen dat "zijde satijn zachter is dan katoenen denim" puur op basis van tekstuele beschrijvingen van aanraking?
• Het Risico: Naarmate AI-systemen fysieke interacties steeds meer bemiddelen (bijv. robotische manipulatie, gepersonaliseerde productaanbevelingen), kan een gebrek aan perceptuele uitlijning leiden tot onbetrouwbare of frustrerende gebruikerservaringen.

2. Methodologie

De auteurs ontwierpen een nieuwe interactieve taak genaamd "Guess What Textile?" (Raad Welk Textiel?) om de perceptuele uitlijning tussen mensen en LLM's te evalueren.

A. Systeemontwerp & Taakverloop

• Opstelling: Deelnemers interacteren met een aangepast AI-systeem in een gecontroleerde labomgeving. Ze hanteren twee textielmonsters binnen een zwarte doos (om visuele aanwijzingen uit te sluiten): een Doel (onbekend voor de AI) en een Referentie (bekend voor de AI).
• Interactie: Deelnemers beschrijven mondeling de tactiele verschillen tussen de twee stoffen.
• AI-mechanisme:
  1. Embedding: Het systeem gebruikt het OpenAI text-embedding-3-small model om de 20 mogelijke textielbeschrijvingen om te zetten in vooraf berekende vector-embeddings ($E_{textiles}$).
  2. Vectorzoekopdracht: De vergelijkende beschrijving van de deelnemer wordt gecodeerd tot een verschilvector ($v_{diff}$). Het systeem combineert deze met de vector van het referentietextiel ($v_{ref}$) met behulp van een formule voor directionele offset:
     $$\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$$
     (waarbij $\alpha=2$ een schalingsfactor is).
  3. Voorspelling: Het systeem berekent de cosinus-ähnelijkheid tussen de voorspelde vector en alle 20 textiel-embeddings, en selecteert het ID met de hoogste overeenkomst als zijn gok.
  4. Iteratie: Als de gok onjuist is, wordt het gegokte textiel de nieuwe referentie en wordt het proces herhaald (tot maximaal 5 pogingen).

B. Experimentele Opstelling

• Deelnemers: 40 deelnemers (niet-experts, diverse achtergronden) gerekruteerd voor een studie op locatie.
• Stimuli: 20 verschillende textielmonsters die vier meta-categorieën bestrijken (Natuurlijk, Dierlijk, Geregenereerd, Synthetisch), inclusief materialen zoals zijde satijn, katoenen denim, wol en imitatieleer.
• Maten:
  1. Succespercentage: Gokte de AI binnen 5 pogingen het juiste textiel?
  2. Validiteit: (Subjectief) Hoe goed kwam de gok van de AI overeen met de mondelinge beschrijving van de deelnemer (schaal 1–10)?
  3. Overeenkomst: (Subjectief) Hoe perceptueel dichtbij was het gegokte textiel bij het werkelijke doel (schaal 1–10)?
• Analyse: De studie hanteerde linguïstische analyse (TF-IDF, Sentence-BERT, OpenAI embeddings) om te controleren of consistentie in beschrijvingen de prestaties van de AI beïnvloedde. Er werd ook gebruikgemaakt van Multidimensionale Schaling (MDS) en Hiërarchische Clustering om de geometrie van de menselijke perceptuele ruimte te vergelijken met de semantische ruimte van de AI.

3. Belangrijkste Bijdragen

1. Eerste Verkenning van Aanraak-uitlijning: Dit is het eerste onderzoek dat systematisch het niveau van perceptuele uitlijning tussen menselijke aanraakervaringen en LLM-representaties onderzoekt met behulp van een interactieve, vergelijkende taak.
2. Mapping van Zintuig naar Embedding-ruimte: De auteurs slaagden erin tactiele beschrijvingen in te kaartten in LLM-embeddingruimtes en maten representatie-overeenkomsten, waarbij bleek dat LLM's systematische perceptuele biases vertonen die afhankelijk zijn van het materiaal.
3. Ontwerp van Interactieve Taak: Het paper introduceert een "Guess What Textile"-kader dat real-life scenario's nabootst (bijv. het selecteren van kleding of stoffen) en kan worden aangepast voor andere zintuiglijke domeinen (voedsel, parfums).
4. Empirisch Bewijs van Bias: De studie levert kwantitatief bewijs dat LLM's niet uniform "blind" zijn voor aanraking, maar zeer inconsistent presteren, goed presterend op sommige materialen (bijv. zijde) en falend op andere (bijv. denim).

4. Belangrijkste Resultaten

A. Algemene Prestaties

• Laag Succespercentage: De AI behaalde een succespercentage van 22,5% (18/80 taken), wat statistisch niet te onderscheiden is van willekeurig gissen (23,7% baseline).
• Subjectieve Beoordelingen:
  • Validiteit: Gemiddelde score van 5,27/10 (niet significant verschillend van neutraal).
  • Overeenkomst: Gemiddelde score van 4,77/10 (significant onder neutraal).
  • Correlatie: Validiteit en Overeenkomst waren sterk gecorreleerd ($r=0,758$), wat suggereert dat wanneer de AI de beschrijving verkeerd begreep, de resulterende gok ook perceptueel veraf was.

B. Materiaalspecifieke Bias

• Hoge Uitlijning: Zijde satijn behaalde een succespercentage van 100%. De embeddingruimte van de LLM lijkt sterke, goed gedefinieerde representaties voor dit materiaal te hebben, waarschijnlijk vanwege rijke tekstuele associaties in de trainingsdata.
• Lage Uitlijning: Katoenen denim, imitatieleer en imitatiebont hadden succespercentages van 0%. Het model slaagde er niet in deze materialen te onderscheiden, ondanks dat deelnemers duidelijke beschrijvingen gaven.
• Confusiematrix: De AI toonde een neiging om specifieke "populaire" texturen te voorspellen (zoals linnen plain of zijde crepon), ongeacht het werkelijke doel, wat wijst op een bias naar bepaalde clusters in de embeddingruimte.

C. Geometrie Menselijke vs. AI Ruimte

• Zwakke Structurele Uitlijning: Hoewel de AI brede categorische kennis vastlegde (bijv. het groeperen van wolsoorten), slaagde het er niet in de fijnmazige perceptuele relaties na te bootsen die mensen waarnemen.
• Lokale Buren: Slechts 30% van de "naaste buren" (meest vergelijkbare textielen) in de ruimte van de AI kwam overeen met die in de menselijke perceptuele ruimte.
• Correlatie: De correlatie tussen menselijke overeenkomstbeoordelingen en semantische overeenkomst van de AI was gematigd ($r=0,441$), wat slechts ongeveer 19,5% van de variantie verklaarde.

D. Oorzaken van Misuitlijning

• Schaarste aan Trainingsdata: Een corpusanalyse van WikiText-103 en BookCorpus toonde aan dat textiel/tactiele termen 0,0033%–0,0018% van de tijd voorkomen, terwijl kleurttermen 0,15%–0,04% voorkomen. Het gebrek aan tactiele data in trainingscorpora is een primaire drijvende kracht achter misuitlijning.
• Linguïstische vs. Perceptuele Clustering: LLM's clusteren textielen op basis van linguïstische/categorische overeenkomst (bijv. "katoen" en "linnen" zijn beide natuurlijke vezels) in plaats van perceptuele overeenkomst (hoe ze zich eigenlijk aanvoelen).

5. Betekenis en Implicaties

• Beperkingen van Alleen-tekst Modellen: De studie toont aan dat huidige LLM's de "aanraakruimte" niet volledig kunnen coderen. Ze vertrouwen op linguïstische associaties in plaats van belichaamd fysiek begrip.
• Modality-specifieke Uitlijning: Perceptuele uitlijning kan niet worden verondersteld te generaliseren over modaliteiten heen. Een model dat is uitgelijnd voor zicht kan "blind" blijven voor aanraking.
• Noodzaak aan Multimodale Gronding: Om robuuste uitlijning te bereiken, moeten toekomstige AI-systemen multimodale zintuiglijke data (visueel, haptisch, auditief) integreren in plaats van uitsluitend op tekst te vertrouwen.
• Ethische en Veiligheidsbeperkingen: De auteurs merkten op dat veiligheidsfilters in modellen (bijv. GPT-4) soms tactiele beschrijvingen blokkeerden vanwege associaties met seksuele inhoud, wat onderzoek belemmerde. Dit benadrukt de noodzaak van genuanceerde waarborgen die legitiem zintuiglijk onderzoek toelaten.
• Toekomstige Richtingen: Het paper pleit voor het creëren van grootschalige, diverse datasets van tactiele beschrijvingen en de ontwikkeling van Multimodale Large Language Models (MLLM's) die de kloof tussen taal en fysieke sensatie kunnen overbruggen.

Concluderend onthult TouchAI dat hoewel LLM's enige latente kennis van aanraking bezitten, hun perceptuele uitlijning met mensen systematisch bevooroordeeld en onvolledig is. Het bereiken van echte mens-AI-uitlijning in de fysieke wereld vereist het overstijgen van tekstgebaseerde representaties om belichaamde, multimodale learning op te nemen.