The semantic geometry of action: convergence across foundation models, human behaviour and the brain
Este estudio demuestra que los modelos fundacionales organizan las acciones naturalistas dentro de una geometría semántica que converge con los juicios conductuales y las representaciones corticales humanas, superando a los codificadores de video tradicionales en la predicción tanto de las calificaciones de similitud humana como de la actividad cerebral.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
Los seres humanos son maestros en la lectura del mundo en movimiento. Cuando observamos a otra persona, no solo vemos un cuerpo moviéndose a través del espacio; comprendemos instantáneamente qué intenta hacer, por qué lo hace y cuál podría ser su siguiente movimiento. Esta capacidad de interpretar la acción dinámica es una piedra angular de la inteligencia humana, que nos permite navegar situaciones sociales complejas y cooperar con los demás. Durante décadas, los científicos han intentado construir una inteligencia artificial que pueda hacer lo mismo. Si bien los programas informáticos modernos pueden ahora identificar acciones con alta precisión —distinguiendo entre una persona corriendo y una persona caminando—, los investigadores se han preguntado durante mucho tiempo si estas máquinas realmente comprenden el significado detrás del movimiento de la misma manera que lo hacemos los humanos. ¿Organizan estas acciones en sus "mentes" internas basándose en la misma lógica que nosotros, o simplemente están emparejando patrones de píxeles sin comprender el concepto subyacente?
Un equipo de investigadores del Instituto de Automatización de China ha dado ahora un paso significativo para responder a esta pregunta. Se propusieron mapear la estructura oculta de cómo tanto los humanos como la inteligencia artificial avanzada organizan el concepto de la acción humana. Al comparar la "geografía" interna de la acción en modelos de lenguaje extensos, modelos multimodales que pueden ver y leer, y el cerebro humano, descubrieron una convergencia sorprendente. El estudio sugiere que cuando estos sistemas artificiales son entrenados con vastas cantidades de datos, desarrollan espontáneamente una forma de pensar sobre las acciones humanas que se alinea estrechamente con la percepción humana e incluso refleja la forma en que el cerebro humano procesa estos mismos movimientos.
Para explorar esto, los investigadores trataron a los modelos de inteligencia artificial como participantes en un experimento psicológico. Presentaron a estos modelos miles de videoclips cortos y descripciones textuales de personas realizando diversas actividades, desde cocinar y jardinería hasta luchar y bailar. Se les pidió a los modelos que realizaran una tarea simple pero reveladora: dados tres tipos de acciones diferentes, debían identificar cuál era la "intrusa". Por ejemplo, si se le mostraba un video de alguien esquiando, alguien dibujando y alguien escalando una pared de roca, el modelo tenía que decidir qué acción era la más diferente de las otras dos. Al analizar millones de estas elecciones, los investigadores pudieron reconstruir el mapa mental invisible que los modelos utilizaban para clasificar estas acciones. Hicieron lo mismo con un gran grupo de participantes humanos, creando una base de referencia de cómo las personas agrupan y distinguen naturalmente diferentes comportamientos.
Los resultados revelaron que tanto los modelos de solo texto, que solo leen descripciones de acciones, como los modelos multimodales, que observaron los videos reales, desarrollaron mapas internos que eran sorprendentemente similares al mapa humano. Estos mapas no eran aleatorios; organizaban las acciones en espacios de baja dimensionalidad donde los comportamientos similares se situaban cerca y los diferentes estaban lejos. Crucialmente, estos mapas artificiales predecían mejor las elecciones humanas que las herramientas tradicionales de análisis de video que dependen de características visuales simples. El estudio encontró que los modelos no solo estaban memorizando los videos, sino que estaban capturando las metas abstractas y los contextos sociales que los humanos utilizamos para dar sentido al movimiento. Por ejemplo, los modelos aprendieron a agrupar las acciones de "socialización" y separarlas de las tareas "solitarias", tal como lo hacen las personas.
Para demostrar que estos mapas internos eran verdaderamente significativos y no solo trucos estadísticos, los investigadores los probaron de dos maneras rigurosas. Primero, utilizaron los mapas internos de los modelos para guiar un sistema de generación de video. Al ajustar un solo número en la representación interna del modelo, podían cambiar suavemente el contenido de un video. Si aumentaban el valor de una dimensión "relacionada con la naturaleza", una escena de interior se transformaba en una de exterior; si aumentaban una dimensión de "deportes", la actividad se desplazaba hacia la competición atlética. Esto demostró que los modelos habían aprendido conceptos de acción distintos y controlables que podían manipularse para crear nuevas y coherentes escenas visuales.
Segundo, y quizás lo más significativo, los investigadores probaron si estos mapas artificiales podían predecir la actividad en el cerebro humano. Tomaron los mapas fijos aprendidos por los modelos y los aplicaron a un conjunto masivo de datos de escaneos cerebrales de personas viendo miles de videos de acciones diferentes. Encontraron que la organización interna de los modelos predecía con éxito qué partes del cerebro humano se iluminarían al observar acciones específicas. Los modelos basados en texto, que habían aprendido los conceptos de acción puramente a través de descripciones lingüísticas sin haber visto nunca un video, fueron particularmente buenos prediciendo la actividad en regiones cerebrales de orden superior responsables de comprender comportamientos sociales complejos y dirigidos a metas. Esto sugiere que los conceptos abstractos de la acción, aprendidos puramente a través del lenguaje, son suficientes para capturar la estructura central de cómo el cerebro humano representa el movimiento.
El estudio también destacó diferencias interesantes entre los tipos de modelos. Mientras que los modelos que observaban videos capturaban detalles visuales finos, los modelos de solo texto eran sorprendentemente efectivos para organizar las acciones en categorías amplias y significativas. En algunas regiones cerebrales, los modelos basados en texto superaron a los modelos de video en la predicción de las respuestas neurales humanas. Esto implica que la comprensión conceptual de la acción —saber qué intenta lograr una persona— puede ser más importante para la percepción humana que los detalles visuales específicos de cómo se ve el movimiento.
En última instancia, esta investigación proporciona una nueva y poderosa forma de entender la relación entre la inteligencia artificial y la biológica. Demuestra que cuando las máquinas se exponen a suficientes datos, pueden desarrollar una geometría semántica compartida con los humanos, organizando el mundo de la acción de una manera funcionalmente similar a la nuestra. Los hallazgos sugieren que el camino hacia máquinas verdaderamente inteligentes puede no requerir que les programemos explícitamente reglas humanas, sino más bien permitirles descubrir estas estructuras por sí mismas a través de la exposición a la riqueza de la experiencia humana. El estudio no afirma que las máquinas posean conciencia o sentimientos, pero sí demuestra que pueden construir una comprensión estructural del comportamiento humano que está profundamente alineada con la nuestra, ofreciendo una base prometedora para las futuras interacciones entre personas y máquinas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.