🤖 AI

Token-Based Affordance Grounding with Large Vision-Language Models

Este artículo propone TokAG, un marco de fundamentación de asequibilidad de disparo cero que aprovecha un mecanismo de selección de tokens con conciencia espacial para extraer mapas de atención centrados en objetos a partir de Grandes Modelos de Visión y Lenguaje, logrando así un rendimiento superior sobre los métodos previos débilmente supervisados en la localización de regiones relevantes para la acción sin supervisión externa.

Autores originales: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot cómo interactuar con el mundo. No quieres solo que el robot sepa qué es un objeto (por ejemplo, "Eso es una silla"). Quieres que sepa cómo usarlo (por ejemplo, "Siéntate aquí", "Empuja aquí" o "Corta con esto"). Esta capacidad de comprender dónde ocurre una acción se llama Afianzamiento de la Afordancia (Affordance Grounding).

Este artículo presenta un nuevo método llamado TokAG que ayuda a las computadoras a determinar exactamente dónde en un objeto debe realizar una persona una acción, sin necesidad de ser enseñado manualmente con miles de ejemplos etiquetados.

Así es como funciona, explicado mediante analogías sencillas:

El Problema: El Guía "Ciego"

Los métodos anteriores eran como un estudiante que intenta adivinar dónde sentarse en una motocicleta mirando una foto borrosa y una nota muy corta que solo dice "Sentarse".

La Confusión: Si la foto muestra una motocicleta y la nota dice "Sentarse", la computadora podría confundirse. ¿Es el asiento? ¿El manubrio? ¿El tanque de gasolina?
La Limitación: Los métodos antiguos solían depender de instrucciones cortas y vagas. Tenían dificultades cuando una imagen mostraba varias cosas sucediendo al mismo tiempo (como alguien sosteniendo un cepillo de dientes y cepillándose con él) o cuando dos acciones parecían similares (como "empujar" una bicicleta frente a "sentarse" en ella). A menudo señalaban a todo el objeto en lugar de a la parte específica necesaria para la acción.

La Solución: El "Súper Lector" (LVLM)

Los autores se dieron cuenta de que los Modelos de Lenguaje-Visión Grandes (LVLMs) —el mismo tipo de IA que puede mirar una imagen y escribir una historia larga y detallada sobre ella— son en realidad muy inteligentes sobre dónde están las cosas, incluso si no lo dicen en voz alta.

Piensa en un LVLM como un Súper Lector que mira una foto y una pregunta (por ejemplo, "¿Qué parte del cepillo de dientes se usa para cepillarse?").

El Súper Lector no solo suelta la respuesta "cerdas".
Mientras está "pensando" y generando esa respuesta palabra por palabra, también está señalando secretamente con su "dedo" interno (atención) diferentes partes de la imagen.
A veces, apunta al fondo (el lavabo del baño). A veces, apunta a todo el cepillo de dientes. Pero cuando piensa en la palabra "cerdas", su dedo interno apunta muy fuertemente a las cerdas.

La Innovación: El "Selector de Foco" (TokAG)

La parte difícil es que el Súper Lector genera una oración completa, y apunta con su dedo a muchas cosas diferentes por cada palabra que dice. Si solo miras la oración completa, el "señalamiento" se vuelve desordenado y borroso.

TokAG es como un Selector de Foco que resuelve este desorden:

La Pregunta: Le hace al Súper Lector una pregunta específica sobre una acción (por ejemplo, "¿En qué parte de una cama se sienta la gente?").
El Escaneo Palabra por Palabra: A medida que la IA genera la respuesta (por ejemplo, "el colchón"), TokAG observa el "mapa de atención" (el señalamiento interno) para cada una de las palabras que produce.
El Filtro: Ignora las palabras que apuntan al fondo o a toda la habitación. Busca la palabra específica donde el señalamiento interno de la IA está más concentrado en el objeto.
- Ejemplo: Cuando la IA dice "colchón", su atención está fuertemente concentrada en la superficie de la cama. Cuando dice "cama", la atención puede estar dispersa. TokAG elige el "momento del colchón".
El Resultado: Toma ese "momento de enfoque" específico y lo convierte en un mapa de calor claro, mostrando exactamente dónde sentarse.

Por qué es Mejor

Sin Requerimiento de Entrenamiento: A diferencia de los métodos anteriores que necesitaban ser "entrenados" con millones de fotos etiquetadas (como un estudiante memorizando un libro de texto), TokAG funciona zero-shot. Simplemente utiliza el conocimiento que la IA ya posee, como una persona inteligente que comprende una situación nueva sin necesidad de un manual.
Precisión: Puede distinguir entre "sentarse en" una motocicleta (el asiento) y "empujar" una motocicleta (el manubrio), aunque el objeto sea el mismo.
Desempeño: El artículo muestra que TokAG es significativamente mejor que los métodos anteriores. En pruebas estándar, mejoró la precisión en aproximadamente un 10% a 30% en comparación con las mejores técnicas existentes, a pesar de no haber utilizado datos de entrenamiento.

El Problema (Limitaciones)

El artículo señala que este método depende de que la IA genere una única "palabra clave" que apunte al lugar correcto.

Acciones Complejas: Si una acción requiere dos manos o dos partes diferentes al mismo tiempo (como "abrir un frasco", que requiere una mano en la tapa y otra en el frasco), el método actual podría tener dificultades porque busca una única "mejor" palabra a la cual apuntar.
Distracciones: Si un objeto tiene un logotipo brillante o texto, la IA podría distraerse y apuntar al logotipo en lugar de a la parte funcional.

Resumen

TokAG es un truco ingenioso que convierte a una IA de tipo "chatbot" en un "puntero" preciso. En lugar de pedirle a la IA que dibuje un cuadro o escriba coordenadas, le pide que describa la acción, y luego escucha qué palabra hace que la IA mire con más intensidad la parte correcta del objeto. Convierte el "proceso de pensamiento" interno de la IA en un mapa preciso para que los robots y las computadoras lo sigan.

Resumen Técnico: Localización de Afordancia Basada en Tokens con Grandes Modelos de Visión y Lenguaje (TokAG)

Planteamiento del Problema
La localización de la afordancia (affordance grounding) tiene como objetivo localizar regiones específicas de una imagen que sustentan acciones humanas potenciales, una capacidad esencial para la inteligencia física y la percepción encarnada. Aunque los avances recientes en el aprendizaje débilmente supervisado han utilizado imágenes exocéntricas con supervisión a nivel de acción, estos métodos enfrentan dos limitaciones primarias:

Ambigüedad Visual en Acciones Coincidentes: Las imágenes exocéntricas suelen contener múltiples acciones simultáneas (por ejemplo, "sujetar con" y "cepillar con" un cepillo de dientes). Los métodos existentes luchan por aislar la evidencia visual específica de la acción, lo que conduce a mapas de calor idénticos o mal localizados para diferentes acciones en la misma imagen.
Insuficiencia Semántica: Los enfoques actuales dependen de frases de acción breves (por ejemplo, "empujar") que carecen del detalle semántico rico requerido para distinguir acciones semánticamente similares (por ejemplo, "empujar" frente a "sentarse en" una motocicleta) que requieren la localización en partes funcionales distintas (mango frente a asiento).

Aunque los Grandes Modelos de Visión y Lenguaje (LVLM) codifican una rica semántica de acción y sus salidas textuales contienen implícitamente señales espaciales, están optimizados para la generación de texto más que para la localización espacial fina. En consecuencia, los LVLM no generan directamente mapas espaciales específicos de la acción, y sus mecanismos de atención interna suelen exhibir patrones difusos que atienden a regiones de fondo irrelevantes en lugar de a las áreas funcionales objetivo.

Metodología: TokAG
Los autores proponen TokAG, un marco de localización de afordancia de cero disparos (zero-shot) que aprovecha las señales semántico-espaciales latentes dentro de los LVLM preentrenados sin supervisión externa ni entrenamiento específico de la tarea. El proceso opera de la siguiente manera:

Entrada y Generación: Dada una imagen egocéntrica y un prompt de texto (por ejemplo, "Cuando las personas realizan [Acción] con [Objeto], ¿qué parte del [Objeto] se utiliza?"), un LVLM congelado (por ejemplo, Qwen3-VL) genera una secuencia de tokens de salida.
Agregación de Atención: El marco extrae mapas de atención cross-modal entre los tokens de salida generados y los parches visuales. Reconociendo que las pistas relevantes de la afordancia están distribuidas en diferentes capas y cabezales de atención, el método agrega los pesos de atención a través de todas las capas y cabezales para cada token de salida para capturar señales semántico-espaciales distribuidas.
Selección de Tokens con Conciencia Espacial: Para abordar la atención difusa y el ruido de fondo, el método introduce una restricción espacial. Utilizando una máscara binaria del objeto (generada por CLIPSeg) para el objeto objetivo, el sistema calcula una "puntuación de traslape" para cada mapa de atención agregado midiendo los valores de activación estrictamente dentro de la región del objeto.
Selección de Token y Generación de Mapa de Calor: El marco selecciona el único token de salida ( $t^*$ ) que produce la puntuación de activación más alta sobre el área del objeto objetivo. El mapa de atención correspondiente a este token seleccionado se escala mediante upsampling a las dimensiones originales de la imagen para producir el mapa de calor de afordancia final.

Contribuciones Clave

Marco de Cero Disparos (Zero-Shot): TokAG es el primer marco de localización de afordancia de cero disparos que elimina la necesidad de supervisión específica de la afordancia mediante la explotación de señales a nivel de token en los LVLM.
Selección de Tokens con Conciencia Espacial: Los autores proponen un mecanismo que evalúa sistemáticamente los tokens de salida basándose en su activación centrada en el objeto, en lugar de depender de mapas de atención arbitrarios o poda estructural. Esto transforma las señales semánticas implícitas en mapas espaciales precisos.
Interpretabilidad y Análisis: El artículo proporciona un análisis empírico que muestra que los tokens seleccionados a menudo corresponden a partes funcionales significativas del objeto (por ejemplo, "hoja", "asiento", "mango"). Además, el análisis indica que los backbones de LVLM más fuertes (por ejemplo, 32B frente a 2B) seleccionan más tokens semánticamente relevantes, lo que correlaciona con una mejor mejora en la localización.

Resultados Experimentales
TokAG fue evaluado en dos conjuntos de datos de referencia: AGD20K y HICO-IIF. El método se comparó con enfoques débilmente supervisados de última generación y líneas base basadas en modelos fundacionales.

Desempeño en AGD20K: En la división no vista (Set 2), TokAG (usando un modelo de 2B) logró un NSS de 1.514, una mejora del 10.7% sobre el método débilmente supervisado anterior más avanzado (Moon et al., 1.368). También logró el KLD más bajo (1.060) y el SIM más alto (0.455).
Desempeño en HICO-IIF: TokAG logró un NSS de 1.655 (con el modelo de 32B), lo que representa un incremento del 29.7% sobre las líneas base débilmente supervisadas existentes (1.234).
Comparación con Modelos Fundacionales: La generación directa de coordenadas mediante prompts en los LVLM o la combinación de LVLM con modelos de segmentación (por ejemplo, SAM 3, GroundingDINO) resultó en un desempeño significativamente menor. El enfoque de TokAG de extraer señales espaciales directamente de los mapas de atención resultó superior a la predicción de coordenadas ingenua o a los procesos de múltiples etapas.
Estudios de Ablación: Los experimentos confirmaron que agregar la atención a través de todas las capas y cabezales supera la selección de capas o cabezales específicos. Además, la estrategia de selección de Top-1 token con conciencia espacial superó a heurísticas como usar el primer/último token o promediar todos los tokens.

Significancia y Reivindicaciones
El artículo afirma que TokAG establece un nuevo estado del arte para la localización de afordancia de cero disparos. Su principal significancia radica en demostrar que los LVLM, a pesar de ser modelos de generación de texto, contienen suficiente conocimiento espacial implícito para realizar una localización espacial precisa cuando se accede a ellos mediante el análisis de atención a nivel de token.

Los autores señalan que, si bien el marco es altamente efectivo, actualmente asume que las afordancias pueden representarse mediante un único token semántico. Reconocen limitaciones para manejar afordancias composicionales (que requieren múltiples regiones, por ejemplo, "verter desde") e interacciones bimanuales. Sin embargo, el trabajo proporciona un enfoque fundacional, libre de entrenamiento, que avanza significativamente en el campo al cerrar la brecha entre la comprensión semántica de alto nivel y la localización espacial de bajo nivel sin requerir anotaciones de píxeles costosas.