💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

El artículo presenta SEER, una interfaz de inferencia en tiempo de ejecución sin entrenamiento para modelos de visión y lenguaje congelados que mejora la clasificación de relaciones espaciales mediante la construcción de vistas de evidencia específicas para la consulta con roles de sujeto/objeto explícitos y un contexto geomético complementario, reduciendo así significativamente los errores causados por vistas globales ambiguas o una selección incorrecta de instancias.

Autores originales: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Publicado 2026-08-05

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas donde dos piezas deben encajar perfectamente. En el mundo de la inteligencia artificial, existen los "Modelos de Visión y Lenguaje" (VLM, por sus siglas en inglés)—cerebros informáticos superinteligentes que pueden mirar una imagen y leer una pregunta sobre ella. Son excelentes reconociendo objetos; si les muestras una foto de un gato y un perro, saben cuál es cuál. Pero aquí está la parte difícil: cuando les preguntas, "¿Está el gato a la izquierda del perro?", a veces se confunden. Pueden reconocer correctamente a los animales, pero confunden sus posiciones, o adivinan basándose en lo que han leído en libros en lugar de lo que realmente ven. Esto es como un estudiante que conoce las definiciones de "izquierda" y "derecha", pero sigue señalando la dirección equivocada al mirar un mapa. A los científicos les importa solucionar esto porque, si estos cerebros de IA no pueden entender las relaciones espaciales, no pueden ayudarnos con cosas como conducir coches, navegar con robots o leer diagramas complejos de forma segura.

Entra SEER, un truco ingenioso para estos cerebros de IA que no requiere enseñarles nada nuevo. Piensa en SEER como un sistema de "foco y etiqueta". En lugar de dejar que la IA contemple toda la imagen desordenada y adivine, SEER primero encuentra silenciosamente los dos elementos específicos de los que trata la pregunta (como el gato y el perro). Luego, crea una vista especial, con zoom, solo para esos dos elementos. Dibuja un cuadro rojo alrededor del sujeto y un cuadro azul alrededor del objeto, etiquetándolos claramente como "Sujeto" y "Objeto". Oculta las posibles respuestas (como "izquierda" o "derecha") durante este paso para que la IA no dependa de las opciones de respuesta para decidir hacia dónde mirar. Al obligar a la IA a concentrarse en una vista limpia y etiquetada de solo esos dos elementos, SEER ayuda a la IA a tomar una decisión mucho mejor. Los investigadores descubrieron que este método simple de "reenfocar y etiquetar" hizo que la IA fuera significativamente mejor para acertar las relaciones espaciales, mejorando su precisión aproximadamente un 4% de media en diferentes pruebas.

El Problema: El "Gran Desenfoque" de la IA

Imagina que estás en una habitación llena de gente y alguien te pregunta: "¿Está la persona con el sombrero rojo de pie a la izquierda de la persona con la camiseta azul?". Si solo echas un vistazo a toda la habitación, podrías equivocarte. Tal vez ves un sombrero rojo en el extremo izquierdo y una camiseta azul en el extremo derecho, pero las personas específicas de las que habla la pregunta están en realidad una al lado de la otra en el centro.

Los modelos de IA actuales suelen cometer este mismo error. Pueden ver los objetos, pero se pierden en la "vista global" de la imagen. Pueden depender de lo que creen que suele suceder (como "los gatos suelen estar a la izquierda") en lugar de comprobar realmente los lugares específicos en la imagen. Esto se llama una "alucinación" o un "fallo de anclaje" (failure to ground) de la respuesta en la evidencia visual adecuada. El artículo argumenta que el problema no es que la IA sea demasiado tonta para entender "izquierda" o "derecha", sino que está mirando la parte equivocada de la imagen o se confunde con demasiado ruido de fondo.

La Solución: La Linterna "Auto-Anclada" de SEER

Los autores de este artículo, trabajando en el Instituto de Tecnología de la Computación en China, idearon un método llamado SEER (Razonamiento de Evidencia Auto-Anclada para Entidades-Relación). Es como darle a la IA una linterna y un par de resaltadores, pero con una regla muy estricta: No mires la clave de respuestas todavía.

Así es como funciona SEER, paso a paso:

La Búsqueda "Ciega": Cuando la IA recibe una pregunta como "¿Está la taza a la izquierda del libro?", SEER primero le pide a la IA que encuentre la taza y el libro en la imagen. Crucialmente, oculta las posibles respuestas (izquierda, derecha, arriba, abajo) durante esta búsqueda. Esto evita que la IA dependa de la palabra "izquierda" y luego simplemente encuentre una taza en el lado izquierdo de la imagen, independientemente de dónde esté realmente el libro.
La Vista con "Zoom": Una vez que la IA encuentra la taza y el libro, SEER recorta una pequeña imagen que contiene solo esos dos elementos. Dibuja un cuadro rojo alrededor de la taza (el sujeto) y un cuadro azul alrededor del libro (el objeto). Los etiqueta claramente.
La Verificación de "Rol Explícito": Ahora, la IA mira esta imagen limpia y con zoom. Ve: "Vale, el cuadro rojo es la taza, el cuadro azul es el libro. Ahora, ¿está el cuadro rojo a la izquierda del cuadro azul?". Debido a que el fondo ha desaparecido y los roles están etiquetados, es mucho menos probable que la IA se confunda.
La "Doble Verificación" (Opcional): A veces, la IA aún podría no estar segura. SEER tiene un truco ingenioso llamado "consistencia recíproca". Intercambia los roles: "Vale, ahora finge que el libro es el sujeto y la taza es el objeto. ¿Está el libro a la derecha de la taza?". Si la respuesta de la IA tiene sentido en ambas direcciones (si A está a la izquierda de B, entonces B debe estar a la derecha de A), confirma la respuesta. Si las respuestas se contradicen, sabe que algo va mal e intenta de nuevo.

Lo que Mostraron los Experimentos

Los investigadores probaron este método en varios conjuntos de datos diferentes, que son como colecciones gigantes de pares de imagen y pregunta. Utilizaron un conjunto de prueba "congelado", lo que significa que eligieron las preguntas de prueba antes de comenzar a ejecutar los experimentos, para que no pudieran ajustar accidentalmente su método para simplemente memorizar las respuestas.

La Gran Victoria: En un conjunto de pruebas llamado GQA-Train900 (que tiene 900 imágenes únicas), SEER mejoró la precisión de la IA en un +3.94% en comparación con el simple hecho de mirar la imagen completa. Eso puede parecer poco, pero en el mundo de los benchmarks de IA, un salto de casi un 4% es algo enorme. Significa que la IA acertó casi 40 preguntas más de cada 1,000.
Diferentes Modelos, El Mismo Éxito: Probaron esto en diferentes tipos de cerebros de IA (como Qwen3 e InternVL3.5). Todos ellos mejoraron. Por ejemplo, en un test diferente llamado EmbSpatial, un modelo mejoró un masivo +11.79%.
Por qué Funciona: Los investigadores realizaron pruebas especiales para averiguar por qué funcionaba. Descubrieron que la magia no era solo "hacer zoom" (recortar la imagen). Eran las etiquetas. Cuando recortaban la imagen pero no etiquetaban cuál era el sujeto y cuál era el objeto, la IA no mejoraba tanto. Las etiquetas claras de "Cuadro Rojo = Sujeto" y "Cuadro Azul = Objeto" fueron la clave. Obligaron a la IA a prestar atención a los roles específicos de los objetos.
Lo que No Arregló: El método no es perfecto. Le costó un poco con la palabra "sobre" (como "la taza está sobre la mesa") porque "sobre" es difícil de distinguir de simplemente estar "encima" sin profundidad 3D. También no ayudó tanto cuando la IA tenía que adivinar "verdadero" o "falso" en preguntas binarias, lo que sugiere que el truco funciona mejor cuando hay opciones específicas para elegir.

La Conclusión

SEER demuestra que no siempre necesitas construir una IA más grande, más inteligente o más cara para resolver un problema. A veces, solo necesitas cambiar cómo le presentas el problema a la IA. Al ocultar las opciones de respuesta durante la búsqueda y luego presentar una vista limpia y etiquetada de solo los objetos relevantes, la IA puede dejar de adivinar y empezar a ver.

Los autores advierten que esto no es una varita mágica que resuelve todos los problemas espaciales. La IA todavía necesita ser buena encontrando los objetos en primer lugar. Pero cuando los objetos son encontrados, SEER actúa como un guía útil, asegurándose de que la IA mire lo correcto de la manera correcta. Es un recordatorio de que, en la carrera por una IA más inteligente, a veces la mejor actualización es una mejor interfaz.

Resumen Técnico: SEER – Una Interfaz de Evidencia Auto-Fundamentada para la Clasificación Controlada de Relaciones Espaciales

Declaración del Problema

Los Modelos de Lenguaje-Visión (VLMs) fallan frecuentemente en el razonamiento de relaciones espaciales, incluso cuando pueden reconocer entidades individuales correctamente. Los benchmarks como VSR, What'sUp, GQA y ARO demuestran que los modelos suelen reconocer objetos pero fallan al comparar sus posiciones, apoyándose en sesgos lingüísticos (language priors), atendiendo a las instancias incorrectas o interpretando vistas globales ambiguas. Los checkpoints actuales orientados al razonamiento y los modelos multimodales no garantizan inherentemente la selección de la evidencia visual correcta. El problema central es que la fiabilidad de una respuesta espacial depende de la evidencia de entrada; si el modelo atiende a una instancia incorrecta o carece de un condicionamiento de rol explícito, la premisa para la predicción de la relación se corrompe antes de que se tome la decisión.

Metodología: SEER

SEER (Self-grounded Evidence for Entity-Relation Reasoning) es una interfaz de evidencia en tiempo de inferencia y sin entrenamiento diseñada para VLMs congelados. No entrena nuevos modelos ni depende de detectores externos. En su lugar, construye estados de evidencia visual específicos para cada consulta para guiar el proceso de decisión del VLM. El método opera en cuatro etapas:

1. Auto-fundamentación Oculta de la Relación Objetivo (Target-Relation-Hidden Self-Grounding)

SEER primero localiza el par sujeto ( $S$ ) y objeto ( $O$ ) consultados utilizando un fundamentador de VLM congelado ( $G$ ). Crucialmente, este paso de fundamentación es oculto respecto a la relación objetivo: el modelo recibe la imagen y los nombres de las entidades, pero se le niega explícitamente las relaciones candidatas y las opciones de respuesta. Esto evita que el fundamentador sesgue la selección de los cuadros (boxes) hacia una relación específica.

Validación: Los cuadros se validan para asegurar un área positiva y coordenadas válidas. Si la fundamentación falla, el sistema recurre a la imagen completa.

2. Construcción de Estados de Evidencia Complementarios

SEER genera tres tipos de evidencia distintos para el mismo par sujeto/objeto:

Evidencia de Imagen Completa (Full Image Evidence): La imagen original y la pregunta, preservando el contexto global. Este sirve como un respaldo seguro (fallback).
Vista de Marcador Auto-fundamentada (Self-Grounded Marker View): Una vista recortada que contiene la unión de los cuadros delimitadores del sujeto y el objeto. El sujeto se marca con un cuadro rojo etiquetado como "S", y el objeto con un cuadro azul etiquetado como "O". Este estado proporciona un reenfoque local y una asignación de rol explícita, forzando al modelo a atender al par específico y a sus roles lingüísticos sin las relaciones candidatas.
Geometría Elegible por Umbral (Threshold-Eligible Geometry): Un candidato determinista derivado de los centros y extensiones de los cuadros. Es elegible solo para relaciones específicas (por ejemplo, izquierda/derecha mediante desplazamiento horizontal, dentro/contiene mediante cobertura de cuadros) y se abstiene para otras (por ejemplo, frente/detrás, sobre/encima) donde la geometría 2D es insuficiente.

3. Decisión de Evidencia Sin Entrenamiento

La etapa de decisión agrega las predicciones de los estados disponibles utilizando una regla fija y determinista:

Decisión hacia Adelante (Forward Decision): Si la Geometría es elegible y su puntuación de diseño supera un umbral ( $\tau=0.5$ ), tiene prioridad. De lo contrario, el sistema selecciona el estado visual (Completo o Marcador) con la brecha de puntuación de opciones más grande (la diferencia entre el candidato principal y el segundo mejor).
Refinamiento de Consistencia Recíproca: Para protocolos con relaciones inversas exactas (por ejemplo, izquierda $\leftrightarrow$ derecha), SEER realiza una verificación recíproca. Intercambia los roles de sujeto y objeto (y los marcadores S/O) y reevalúa la consulta. Si exactamente un estado (Completo o Marcador) respeta la relación inversa mientras que el otro no, el sistema cambia al estado consistente. Esto actúa como un mecanismo de resolución de conflictos solo cuando existe una inversa exacta.

Contribuciones Clave

Interfaz de Evidencia Específica de la Consulta: El artículo formula la respuesta espacial como un problema de interfaz de evidencia, introduciendo la auto-fundamentación oculta de la relación objetivo. Esto convierte al par consultado en evidencia visual con roles explícitos sin necesidad de entrenamiento de VLM o detectores externos.
Refinamiento de Consistencia Recíproca: Un refinamiento opcional y específico de protocolo que utiliza el intercambio exacto de sujeto/objeto para obtener una señal de consistencia observable para estados de evidencia en conflicto, sin requerir calibración aprendida ni etiquetas objetivo.
Aislamiento de Mecanismos: A través de contrafácticos emparejados (por ejemplo, recortar sin marcadores, intercambiar identidades S/O, usar cuadros de verdad absoluta/oracle), los autores aíslan el reenfoque local y el condicionamiento de rol explícito como los principales motores de la mejora, en lugar de un simple recorte o instrucciones de texto adicionales.

Resultados Experimentales

SEER fue evaluado en conjuntos de prueba y pools de desarrollo de imágenes disjuntas (imágenes no vistas durante el entrenamiento) en múltiples modelos (Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5) y datasets (GQA, Visual Genome, EmbSpatial, VSR, SpatialSense).

GQA-Train900 (Test Congelado): En un conjunto de prueba de 900 imágenes únicas congeladas antes de la puntuación, SEER logró una ganancia agrupada de +3.94 sobre la línea base de Imagen Completa (IC 95% [2.17, 5.72]). La ganancia se mantuvo positiva bajo el contrabalanceo de hash independiente de etiquetas (+2.56).
Pools de Desarrollo (GQA/VG): A través de 41,544 evaluaciones, SEER mejoró todas las ocho combinaciones de modelo/dataset. La ganancia agrupada fue de +3.99 sobre la Imagen Completa. El refinamiento de consistencia recíproca contribuyó con un +1.36 adicional sobre la Decisión hacia Adelante.
EmbSpatial: En 2,343 preguntas de par-relación filtradas, SEER mejoró a Qwen3-Instruct, Qwen3-Thinking e InternVL3.5 en +4.35, +5.09 y +11.79 respectivamente.
Análisis de Mecanismo:
- Reenfoque Local: Pasar de Imagen Completa a una vista recortada (Crop) produjo una ganancia de +1.25.
- Condicionamiento de Rol: Añadir marcadores S/O explícitos al recorte (Self-Marker) produjo una ganancia adicional de +1.64.
- Brecha de Oracle (Oracle Gap): Usar los cuadros de verdad absoluta (Oracle-Marker) proporcionó una ganancia de +6.17 sobre Self-Marker, lo que indica un margen de mejora significativo en la calidad de la fundamentación.
- Robustez: Las ganancias persistieron incluso al eliminar relaciones de "sobre" (on) ambiguas o nombres de entidades repetidos, aunque el rendimiento varió según el tipo de relación (por ejemplo, fuertes ganancias en "dentro", resultados mixtos en "a la derecha de").
Limitaciones: El método no se transfiere uniformemente a juicios de verdad binaria (por ejemplo, VSR, SpatialSense), donde la consistencia recíproca es menos efectiva. El rendimiento está limitado por la calidad de la auto-fundamentación; aunque el IoU es imperfecto, las ganancias persisten incluso con un solapamiento bajo.

Significado y Reivindicaciones

El artículo afirma que la construcción de evidencia explícita es la intervención principal para mejorar el razonamiento espacial en los VLMs congelados. Al hacer que las localizaciones y los roles sean conjuntamente inspeccionables, SEER mitiga los fallos causados por atender a la instancia incorrecta o depender de sesgos lingüísticos.

Evidencia sobre Razonamiento: Los resultados sugieren que incluso los checkpoints de razonamiento avanzado se benefician significamente de mejores interfaces de evidencia visual, estableciendo que "una respuesta espacial es tan buena como su evidencia de entrada".
Eficiencia Sin Entrenamiento: SEER logra estas ganancias sin entrenamiento, utilizando una regla fija y un VLM congelado. Aunque incurre en un costo computacional (aproximadamente 7.12 veces una sola puntuación de Imagen Completa), los autores señalan que el filtrado adaptativo puede retener ~81% de la ganancia con un costo de ~2.57x.
Modestia: Los autores declaran explícitamente que SEER es una interfaz de evidencia, no un certificado de fundamentación exacta. Las mejoras no implican una recuperación de instancias perfecta, y el método sigue estando limitado por la visibilidad de las relaciones en la apariencia local y el diseño 2D. El refinamiento de consistencia recíproca se describe como un "refinamiento menor específico de protocolo" en lugar de una solución universal.

En conclusión, SEER demuestra que controlar el estado de la evidencia visual —específicamente mediante la auto-fundamentación oculta de la relación objetivo y el condicionamiento de rol explícito— puede reparar significativamente los fallos de razonamiento espacial en los VLMs, ofreciendo una alternativa robusta y sin entrenamiento a la reentrenamiento de modelos o herramientas de detección externas.