TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

1. Declaração do Problema

O artigo aborda uma lacuna crítica no alinhamento Humano–IA: especificamente, o alinhamento perceptual. Embora tenha sido feito progresso significativo no alinhamento da IA com valores humanos, objetivos e percepção visual, o alinhamento da IA com a percepção tátil humana permanece amplamente inexplorado.

• O Desafio: Diferentemente da visão (que pode ser quantificada via valores RGB) ou da audição (escalas de frequência), o toque é multidimensional, dependente do contexto e carece de padrões universais. Descritores táteis (por exemplo, "macio", "áspero") são frequentemente metafóricos e subjetivos.
• A Questão Central: Os Modelos de Linguagem de Grande Porte (LLMs), que são treinados em vastos corpora de texto, possuem uma representação interna de experiências táteis que se alinha com julgamentos subjetivos humanos? Um LLM consegue entender que "seda cetim é mais macia que jeans de algodão" baseando-se apenas em descrições textuais do toque?
• O Risco: À medida que os sistemas de IA mediam cada vez mais interações físicas (por exemplo, manipulação robótica, recomendações de produtos personalizadas), a falta de alinhamento perceptual pode levar a experiências do usuário pouco confiáveis ou frustrantes.

2. Metodologia

Os autores projetaram uma nova tarefa interativa chamada "Adivinhe Qual o Tecido?" para avaliar o alinhamento perceptual entre humanos e LLMs.

A. Design do Sistema e Fluxo da Tarefa

• Configuração: Os participantes interagem com um sistema de IA personalizado em um ambiente de laboratório controlado. Eles manuseiam duas amostras de tecido dentro de uma caixa preta (para eliminar pistas visuais): uma Alvo (desconhecida para a IA) e uma Referência (conhecida para a IA).
• Interação: Os participantes descrevem verbalmente as diferenças táteis entre os dois tecidos.
• Mecanismo da IA:
  1. Embedding: O sistema utiliza o modelo OpenAI text-embedding-3-small para converter as 20 possíveis descrições de tecidos em embeddings vetoriais pré-calculados ($E_{textiles}$).
  2. Busca Vetorial: A descrição comparativa do participante é codificada em um vetor de diferença ($v_{diff}$). O sistema combina isso com o vetor do tecido de referência ($v_{ref}$) usando uma fórmula de deslocamento direcional:
     $$\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$$
     (onde $\alpha=2$ é um fator de escala).
  3. Previsão: O sistema calcula a similaridade cosseno entre o vetor previsto e todos os 20 embeddings de tecidos, selecionando o ID com a maior similaridade como sua aposta.
  4. Iteração: Se a aposta estiver incorreta, o tecido adivinhado torna-se a nova referência, e o processo se repete (até 5 tentativas).

B. Configuração Experimental

• Participantes: 40 participantes (não especialistas, de diversas origens) recrutados para um estudo presencial.
• Estímulos: 20 amostras de tecidos distintas cobrindo quatro meta-categorias (Natural, Animal, Regenerado, Sintético), incluindo materiais como seda cetim, jeans de algodão, lã e couro sintético.
• Métricas:
  1. Taxa de Sucesso: A IA adivinhou o tecido correto dentro de 5 tentativas?
  2. Validade: (Subjetiva) Quão bem a aposta da IA correspondeu à descrição verbal do participante (escala de 1–10)?
  3. Similaridade: (Subjetiva) Quão perceptualmente próximo estava o tecido adivinhado do alvo real (escala de 1–10)?
• Análise: O estudo empregou análise linguística (TF-IDF, Sentence-BERT, embeddings OpenAI) para verificar se a consistência das descrições influenciou o desempenho da IA. Também utilizou Escalonamento Multidimensional (MDS) e Agrupamento Hierárquico para comparar a geometria do espaço perceptual humano versus o espaço semântico da IA.

3. Principais Contribuições

1. Primeira Exploração do Alinhamento do Toque: Este é o primeiro estudo a investigar sistematicamente o nível de alinhamento perceptual entre experiências táteis humanas e representações de LLMs usando uma tarefa interativa e comparativa.
2. Mapeamento Sensorial para Espaço de Embedding: Os autores mapearam com sucesso descrições táteis em espaços de embedding de LLMs e mediram similaridades de representação, revelando que os LLMs exibem vieses perceptuais sistemáticos dependentes do material.
3. Design de Tarefa Interativa: O artigo introduz um framework "Adivinhe Qual o Tecido" que espelha cenários da vida real (por exemplo, selecionar roupas ou tecidos) e pode ser adaptado para outros domínios sensoriais (comida, perfumes).
4. Evidência Empírica de Viés: O estudo fornece evidências quantitativas de que os LLMs não são uniformemente "cegos" ao toque, mas são altamente inconsistentes, tendo bom desempenho em alguns materiais (por exemplo, seda) e falhando em outros (por exemplo, jeans).

4. Principais Resultados

A. Desempenho Geral

• Baixa Taxa de Sucesso: A IA alcançou uma taxa de sucesso de 22,5% (18/80 tarefas), estatisticamente indistinguível de um palpite aleatório (linha de base de 23,7%).
• Avaliações Subjetivas:
  • Validade: Pontuação média de 5,27/10 (não significativamente diferente da neutra).
  • Similaridade: Pontuação média de 4,77/10 (significativamente abaixo da neutra).
  • Correlação: Validade e Similaridade foram fortemente correlacionadas ($r=0,758$), sugerindo que, quando a IA malinterpretou a descrição, a aposta resultante também foi perceptualmente distante.

B. Viés Específico por Material

• Alto Alinhamento: A seda cetim alcançou uma taxa de sucesso de 100%. O espaço de embedding do LLM parece ter representações fortes e bem definidas para este material, provavelmente devido a associações textuais ricas nos dados de treinamento.
• Baixo Alinhamento: Jeans de algodão, couro sintético e pele sintética tiveram taxas de sucesso de 0%. O modelo falhou em distinguir esses materiais, apesar dos participantes fornecerem descrições claras.
• Matriz de Confusão: A IA mostrou uma tendência de prever texturas específicas "populares" (como linho liso ou crepom de seda), independentemente do alvo real, indicando um viés em direção a certos clusters no espaço de embedding.

C. Geometria do Espaço Humano vs. IA

• Alinhamento Estrutural Fraco: Embora a IA capturasse conhecimento categórico amplo (por exemplo, agrupando lãs juntas), ela falhou em replicar as relações perceptuais de alta granularidade que os humanos percebem.
• Vizinhos Locais: Apenas 30% dos "vizinhos mais próximos" (tecidos mais similares) no espaço da IA corresponderam aos do espaço perceptual humano.
• Correlação: A correlação entre as classificações de similaridade humana e a similaridade semântica da IA foi moderada ($r=0,441$), explicando apenas ~19,5% da variância.

D. Causas do Desalinhamento

• Escassez de Dados de Treinamento: Uma análise de corpus do WikiText-103 e BookCorpus revelou que termos têxteis/táteis aparecem 0,0033%–0,0018% das vezes, enquanto termos de cor aparecem 0,15%–0,04%. A falta de dados táteis nos corpora de treinamento é um motor primário do desalinhamento.
• Agrupamento Linguístico vs. Perceptual: Os LLMs agrupam tecidos com base na similaridade linguística/categórica (por exemplo, "algodão" e "linho" são ambos fibras naturais) em vez da similaridade perceptual (como eles realmente se sentem).

5. Significado e Implicações

• Limitações de Modelos Apenas de Texto: O estudo demonstra que os LLMs atuais não podem codificar totalmente o "espaço do toque". Eles dependem de associações linguísticas em vez de uma compreensão física incorporada.
• Alinhamento Específico de Modalidade: O alinhamento perceptual não pode ser assumido como generalizável entre modalidades. Um modelo alinhado para visão pode permanecer "cego" ao toque.
• Necessidade de Fundamentação Multimodal: Para alcançar um alinhamento robusto, os sistemas de IA futuros devem integrar dados sensoriais multimodais (visuais, hápticos, auditivos) em vez de depender exclusivamente de texto.
• Restrições Éticas e de Segurança: Os autores notaram que filtros de segurança em modelos (por exemplo, GPT-4) às vezes bloquearam descrições táteis devido a associações com conteúdo sexual, dificultando a pesquisa. Isso destaca a necessidade de salvaguardas sutis que permitam pesquisas sensoriais legítimas.
• Direções Futuras: O artigo pede a criação de conjuntos de dados de grande escala e diversos de descrições táteis e o desenvolvimento de Modelos de Linguagem de Grande Porte Multimodais (MLLMs) que possam fechar a lacuna entre linguagem e sensação física.

Em conclusão, o TouchAI revela que, embora os LLMs possuam algum conhecimento latente sobre o toque, seu alinhamento perceptual com os humanos é sistematicamente enviesado e incompleto. Alcançar um verdadeiro alinhamento Humano–IA no mundo físico exige ir além de representações baseadas em texto para incluir aprendizado incorporado e multimodal.