💬 NLP

TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

Este artículo investiga la alineación perceptiva entre los modelos de lenguaje grandes y las experiencias táctiles humanas mediante una tarea de "Adivina qué textil", revelando que, si bien existe cierto grado de alineación, esta varía significativamente entre los diferentes tipos de textiles y a menudo no coincide con las percepciones subjetivas humanas.

Autores originales: Shu Zhong, Elia Gatti, Youngjun Cho, Marianna Obrist

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shu Zhong, Elia Gatti, Youngjun Cho, Marianna Obrist

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: ¿Puede la AI "Sentir" lo que Nosotros Sentimos?

Imagina que estás intentando enseñarle a un robot cómo se siente una bufanda de seda en comparación con un par de vaqueros. No puedes darle manos al robot, así que tienes que describirlo usando palabras. Dices: "La seda es suave y resbaladiza, como el agua", y "Los vaqueros son ásperos y rígidos, como la lija".

Este estudio planteó una pregunta sencilla: Si un humano describe cómo se siente algo, ¿puede una computadora inteligente (una AI) entender esa descripción lo suficientemente bien como para adivinar exactamente qué objeto es?

Los investigadores llamaron a este proyecto "TouchAI". Querían ver si el "mapa mental" de la AI sobre cómo se sienten las cosas coincide con nuestro propio mapa humano.

El Experimento: El "Juego de Adivinar a Ciegas"

Para probar esto, los investigadores organizaron un juego llamado "¿Adivina qué Textil?".

La Configuración: Un participante se sentó en un escritorio con una caja negra frente a él. No podía ver dentro, solo podía meter la mano.
La Tarea: Dentro de la caja había dos trozos de tela. Uno era una "referencia" (la AI sabía lo que era, como un trozo de algodón). El otro era un "objetivo" (la AI no conocía este).
La Interacción: El participante tocó ambas telas. Luego tuvo que describir la diferencia entre ellas a la AI.
- Ejemplo: "El objetivo se siente más suave y liso que la referencia de algodón".
El Turno de la AI: La AI escuchó la descripción, procesó las palabras y hizo una suposición: "Creo que el objetivo es Satín de Seda".
El Resultado:
- Si la AI acertaba, el juego terminaba.
- Si la AI fallaba, el "Satín de Seda" se convertía en la nueva referencia, y el participante tenía que describir el objetivo de nuevo, comparándolo con la seda. La AI lo intentaba de nuevo. Podían hacer esto hasta cinco veces.

¿Qué Descubrieron?

Los resultados fueron una mezcla de "no está mal" y "muy confundido".

1. La AI está mayormente adivinando a ciegas.
En general, la AI solo dio la respuesta correcta el 22.5% de las veces. Eso es apenas mejor que si la AI hubiera cerrado los ojos y elegido una tela al azar de un sombrero. Esto sugiere que los modelos de AI actuales no realmente "saben" cómo se siente el tacto; mayormente solo están adivinando basándose en la frecuencia con la que han visto esas palabras en libros.

2. La AI tiene una tela "Favorita".
Aquí es donde se pone interesante. La AI no fue igualmente mala en todo.

El Ganador: Cuando el objetivo era Satín de Seda, la AI lo acertó el 100% de las veces.
Los Perdedores: Cuando el objetivo era Denim de Algodón (vaqueros), la AI lo acertó el 0% de las veces.

Analogía: Imagina a un estudiante tomando un examen. Aciertó todas las preguntas sobre "Oro" porque memorizó un poema sobre el oro. Pero falló todas las preguntas sobre "Arena" porque nunca leyó sobre arena. La AI conoce el "Oro" (Seda) porque aparece a menudo en historias y películas como "suave y brillante". No conoce la "Arena" (Denim) porque la gente rara vez escribe historias detalladas sobre cómo se sienten los vaqueros ásperos.

3. El "Mapa Mental" está distorsionado.
Los investigadores analizaron cómo la AI organizaba estas telas en su "cerebro" (su espacio de datos).

Mapa Humano: Agrupamos las telas por cómo se sienten. La seda y un sintético suave podrían ser vecinos porque ambos se sienten lisos.
Mapa AI: La AI agrupa las telas por cómo se llaman o a qué categoría pertenecen. Podría poner todos los "algodones" juntos y todas las "sedas" juntas, incluso si un algodón específico se siente muy diferente a otro.

La Metáfora: Piensa en el cerebro de la AI como una biblioteca donde los libros se ordenan por el color de la portada (el nombre de la tela) en lugar del género (cómo se siente). Los humanos ordenan por género (sensación); la AI ordena por color de portada (nombre).

¿Por Qué Esto Importa?

El artículo explica que esto sucede porque el tacto es difícil de escribir.

La visión es fácil: Tenemos un lenguaje universal para los colores. "Rojo" es siempre #FF0000. Podemos describir una manzana roja con mucha precisión.
El tacto es desordenado: Palabras como "suave", "áspero" o "mantecoso" son vagas. El "suave" de una persona es el "medio" de otra. Además, la gente rara vez escribe descripciones largas de cómo se sienten sus vaqueros en sus correos electrónicos diarios o novelas.

Como la AI fue entrenada con texto (libros, sitios web, artículos), aprendió mucho sobre cómo se ven y suenan las cosas, pero muy poco sobre cómo se sienten. Es como intentar aprender cómo se siente un elefante leyendo solo un libro sobre elefantes, pero nunca tocar realmente uno.

La Conclusión

El estudio concluye que, aunque la AI está mejorando mucho en la comprensión de palabras, sigue siendo mala en la comprensión de sensaciones.

Puede adivinar "Seda" porque la palabra "Seda" está fuertemente vinculada a "suave" en sus datos de entrenamiento.
Falla con "Denim" porque la conexión entre la palabra "Denim" y la sensación de "áspero" no es lo suficientemente fuerte en el texto que leyó.

Los investigadores dicen que para que la AI nos ayude verdaderamente en el futuro (como un robot que elige ropa para ti), necesita aprender más que solo palabras. Necesita entender el mundo físico, no solo la descripción de él. Hasta entonces, si le pides a una AI que elija una tela que se sienta "justo bien", podría simplemente adivinar basándose en la palabra más popular que conoce, no en lo que realmente se siente bien.

1. Planteamiento del Problema

El artículo aborda una brecha crítica en la alineación Humano–IA: específicamente, la alineación perceptual. Si bien se ha logrado un progreso significativo en alinear la IA con los valores, objetivos y percepción visual humana, la alineación de la IA con la percepción táctil humana sigue siendo en gran medida inexplorada.

El Desafío: A diferencia de la visión (que puede cuantificarse mediante valores RGB) o el oído (escalas de frecuencia), el tacto es multidimensional, dependiente del contexto y carece de estándares universales. Los descriptores táctiles (por ejemplo, "suave", "áspero") a menudo son metafóricos y subjetivos.
La Pregunta Central: ¿Poseen los Modelos de Lenguaje Grande (LLM), entrenados en vastos corpus de texto, una representación interna de experiencias táctiles que se alinee con los juicios subjetivos humanos? ¿Puede un LLM entender que "el satén de seda es más suave que el denim de algodón" basándose únicamente en descripciones textuales del tacto?
El Riesgo: A medida que los sistemas de IA median cada vez más las interacciones físicas (por ejemplo, manipulación robótica, recomendaciones de productos personalizadas), la falta de alineación perceptual podría conducir a experiencias de usuario poco fiables o frustrantes.

2. Metodología

Los autores diseñaron una tarea interactiva novedosa llamada "Adivina qué Textil?" para evaluar la alineación perceptual entre humanos y LLM.

A. Diseño del Sistema y Flujo de la Tarea

Configuración: Los participantes interactúan con un sistema de IA personalizado en un entorno de laboratorio controlado. Manipulan dos muestras textiles dentro de una caja negra (para eliminar pistas visuales): una Objetivo (desconocida para la IA) y una Referencia (conocida para la IA).
Interacción: Los participantes describen verbalmente las diferencias táctiles entre las dos telas.
Mecanismo de la IA:
1. Incrustación (Embedding): El sistema utiliza el modelo OpenAI text-embedding-3-small para convertir las 20 posibles descripciones textiles en incrustaciones vectoriales precalculadas ( $E_{textiles}$ ).
2. Búsqueda Vectorial: La descripción comparativa del participante se codifica en un vector de diferencia ( $v_{diff}$ ). El sistema combina esto con el vector de la tela de referencia ( $v_{ref}$ ) utilizando una fórmula de desplazamiento direccional:
  $\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$
  (donde $\alpha=2$ es un factor de escala).
3. Predicción: El sistema calcula la similitud coseno entre el vector predicho y todas las 20 incrustaciones textiles, seleccionando el ID con la mayor similitud como su suposición.
4. Iteración: Si la suposición es incorrecta, la tela adivinada se convierte en la nueva referencia y el proceso se repite (hasta 5 intentos).

B. Configuración Experimental

Participantes: 40 participantes (no expertos, diversos orígenes) reclutados para un estudio presencial.
Estímulos: 20 muestras textiles distintas que cubren cuatro meta-categorías (Natural, Animal, Regenerada, Sintética), incluyendo materiales como satén de seda, denim de algodón, lana y cuero sintético.
Métricas:
1. Tasa de Éxito: ¿Adivinó la IA el textil correcto dentro de los 5 intentos?
2. Validez: (Subjetiva) ¿Qué tan bien coincidió la suposición de la IA con la descripción verbal del participante (escala 1–10)?
3. Similitud: (Subjetiva) ¿Qué tan perceptualmente cercana fue la tela adivinada al objetivo real (escala 1–10)?
Análisis: El estudio empleó análisis lingüístico (TF-IDF, Sentence-BERT, incrustaciones de OpenAI) para verificar si la consistencia de las descripciones influyó en el rendimiento de la IA. También utilizó Escalamiento Multidimensional (MDS) y Agrupamiento Jerárquico para comparar la geometría del espacio perceptual humano frente al espacio semántico de la IA.

3. Contribuciones Clave

Primera Exploración de la Alineación Táctil: Este es el primer estudio que investiga sistemáticamente el nivel de alineación perceptual entre las experiencias táctiles humanas y las representaciones de LLM utilizando una tarea interactiva y comparativa.
Mapeo de lo Sensorial al Espacio de Incrustación: Los autores mapearon con éxito las descripciones táctiles en espacios de incrustación de LLM y midieron las similitudes de representación, revelando que los LLM exhiben sesgos perceptuales sistemáticos dependientes del material.
Diseño de Tarea Interactiva: El artículo introduce un marco "Adivina qué Textil" que refleja escenarios de la vida real (por ejemplo, seleccionar ropa o telas) y puede adaptarse a otros dominios sensoriales (comida, perfumes).
Evidencia Empírica de Sesgo: El estudio proporciona evidencia cuantitativa de que los LLM no son uniformemente "ciegos" al tacto, sino que son altamente inconsistentes, funcionando bien con algunos materiales (por ejemplo, seda) y fallando con otros (por ejemplo, denim).

4. Resultados Clave

A. Rendimiento General

Baja Tasa de Éxito: La IA logró una tasa de éxito del 22.5% (18/80 tareas), que es estadísticamente indistinguible de una suposición aleatoria (línea base del 23.7%).
Calificaciones Subjetivas:
- Validez: Puntuación media de 5.27/10 (no significativamente diferente de neutral).
- Similitud: Puntuación media de 4.77/10 (significativamente por debajo de neutral).
- Correlación: Validez y Similitud estuvieron fuertemente correlacionadas ( $r=0.758$ ), lo que sugiere que cuando la IA malinterpretó la descripción, la suposición resultante también fue perceptualmente distante.

B. Sesgo Específico por Material

Alta Alineación: El satén de seda logró una tasa de éxito del 100%. El espacio de incrustación del LLM parece tener representaciones fuertes y bien definidas para este material, probablemente debido a las ricas asociaciones textuales en los datos de entrenamiento.
Baja Alineación: El denim de algodón, el cuero sintético y la piel sintética tuvieron tasas de éxito del 0%. El modelo no pudo distinguir estos materiales a pesar de que los participantes proporcionaron descripciones claras.
Matriz de Confusión: La IA mostró una tendencia a predecir texturas "populares" específicas (como lino liso o crepón de seda) independientemente del objetivo real, lo que indica un sesgo hacia ciertos grupos en el espacio de incrustación.

C. Geometría del Espacio Humano vs. IA

Alineación Estructural Débil: Aunque la IA capturó conocimiento categórico amplio (por ejemplo, agrupando lanas juntas), no logró replicar las relaciones perceptuales finas que perciben los humanos.
Vecinos Locales: Solo el 30% de los "vecinos más cercanos" (textiles más similares) en el espacio de la IA coincidieron con los del espacio perceptual humano.
Correlación: La correlación entre las calificaciones de similitud humana y la similitud semántica de la IA fue moderada ( $r=0.441$ ), explicando solo ~19.5% de la varianza.

D. Causas de la Desalineación

Escasez de Datos de Entrenamiento: Un análisis de corpus de WikiText-103 y BookCorpus reveló que los términos textiles/táctiles aparecen entre un 0.0033%–0.0018% de las veces, mientras que los términos de color aparecen entre un 0.15%–0.04%. La falta de datos táctiles en los corpus de entrenamiento es un impulsor principal de la desalineación.
Agrupamiento Lingüístico vs. Perceptual: Los LLM agrupan textiles basándose en la similitud lingüística/categórica (por ejemplo, "algodón" y "lino" son ambas fibras naturales) en lugar de la similitud perceptual (cómo se sienten realmente).

5. Significado e Implicaciones

Limitaciones de los Modelos Solo Texto: El estudio demuestra que los LLM actuales no pueden codificar completamente el "espacio táctil". Se basan en asociaciones lingüísticas en lugar de una comprensión física encarnada.
Alineación Específica de Modalidad: No se puede asumir que la alineación perceptual se generalice entre modalidades. Un modelo alineado para la visión puede permanecer "ciego" al tacto.
Necesidad de Aterrizaje Multimodal: Para lograr una alineación robusta, los sistemas de IA futuros deben integrar datos sensoriales multimodales (visuales, hápticos, auditivos) en lugar de depender únicamente del texto.
Restricciones Éticas y de Seguridad: Los autores notaron que los filtros de seguridad en los modelos (por ejemplo, GPT-4) a veces bloquearon descripciones táctiles debido a asociaciones con contenido sexual, obstaculizando la investigación. Esto destaca la necesidad de salvaguardas matizadas que permitan la investigación sensorial legítima.
Futuras Direcciones: El artículo pide la creación de conjuntos de datos a gran escala y diversos de descripciones táctiles y el desarrollo de Modelos de Lenguaje Grande Multimodales (MLLM) que puedan cerrar la brecha entre el lenguaje y la sensación física.

En conclusión, TouchAI revela que, aunque los LLM poseen cierto conocimiento latente del tacto, su alineación perceptual con los humanos es sistemáticamente sesgada e incompleta. Lograr una verdadera alineación Humano–IA en el mundo físico requiere ir más allá de las representaciones basadas en texto para incluir el aprendizaje encarnado y multimodal.