ProCap: Projection-Aware Captioning for Spatial Augmented Reality

El artículo presenta ProCap, un marco innovador que desacopla semánticamente el contenido proyectado de la escena física en la realidad aumentada espacial mediante segmentación automatizada y recuperación sensible a regiones, respaldado por el nuevo dataset RGBP y un protocolo de evaluación dual para superar las ambigüedades de los modelos de lenguaje visuales estándar.

Lo esencial

¡Hola! Imagina que tienes un proyector mágico en tu sala. Puedes proyectar imágenes de películas, juegos o arte directamente sobre tus muebles, tu pared o incluso sobre una taza de café. Esto se llama Realidad Aumentada Espacial (SAR). Es genial porque no necesitas gafas ni cascos; la magia ocurre en el mundo real.

Pero, aquí hay un problema: si le pides a una Inteligencia Artificial (IA) moderna que describa lo que ve en esa habitación, la IA se vuelve confundida.

El Problema: La "Alucinación" de la IA

Imagina que proyectas la imagen de un surfista sobre una tabla de cortar de madera que tienes en la mesa.

• Lo que tú ves: Una tabla de madera real y, encima, una imagen de un surfista.
• Lo que ve la IA normal: Un surfista de madera gigante que vive en tu cocina.

La IA no sabe distinguir qué es "real" (la tabla) y qué es "virtual" (el surfista proyectado). Se mezcla todo en su cerebro digital y te da una descripción loca, como si el surfista fuera un objeto físico hecho de madera. Esto se llama ambigüedad virtual-física.

La Solución: ProCap (El "Detective" de Proyecciones)

Los autores de este paper crearon un nuevo sistema llamado ProCap. Piensa en ProCap como un detective muy inteligente que tiene dos herramientas mágicas para resolver este misterio:

1. El Cortador de Tortas (Segmentación Automática):
   Primero, ProCap usa una herramienta para "cortar" la imagen. Imagina que tienes una foto de la habitación con el surfista proyectado. ProCap pone una máscara invisible sobre el surfista para decir: "¡Alto! Esto es solo luz, no es madera". Separa la imagen en dos capas: la Capa Real (la mesa, la tabla) y la Capa Virtual (el surfista).

2. El Bibliotecario Rápido (Búsqueda de Conocimiento):
   A veces, la luz del proyector distorsiona la imagen (se ve borrosa, deforme o con colores raros). Si la IA intenta adivinar qué es, puede fallar.
   Aquí entra el "Bibliotecario". ProCap toma esa imagen borrosa del surfista y la compara rápidamente con una biblioteca gigante de objetos (una base de datos). Le pregunta: "¿Qué objeto se parece más a esta forma borrosa?". La biblioteca le responde: "¡Es un surfista!". Así, ProCap obtiene el nombre correcto aunque la imagen esté deformada.

El Resultado: Dos Historias, Una Sola Imagen

Gracias a estas dos herramientas, ProCap puede contarte dos historias separadas al mismo tiempo:

• Historia A (La Realidad): "Hay una tabla de cortar de madera y dos jarrones azules sobre la mesa."
• Historia B (La Proyección): "Hay un hombre montando una ola en una tabla de surf proyectada sobre la mesa."

¡Y listo! Ya no confunde el surfista con la madera.

El Nuevo Libro de Ejercicios: RGBP

Para entrenar a este detective, los autores crearon un libro de ejercicios gigante llamado RGBP.

• Antes, las IAs solo aprendían con fotos normales de museos o calles.
• Ahora, RGBP es una colección de 180,000 fotos donde se mezclan objetos reales con proyecciones. Incluye fotos de mesas, sillas, paredes y todo tipo de superficies, con proyecciones de todo tipo (desde gatos hasta coches).
• Lo más importante: Cada foto tiene dos etiquetas de verdad: una para describir la mesa y otra para describir lo proyectado. Esto permite entrenar a la IA para que nunca se confunda.

¿Por qué es importante esto?

Imagina que en el futuro quieres que tu casa sea inteligente y pueda "hablar" contigo sobre lo que proyectas.

• Si proyectas un mapa de navegación en el suelo, la IA debe saber decirte: "Hay un mapa en el suelo, pero cuidado, hay una alfombra debajo".
• Si proyectas un juego en la pared, la IA debe saber: "Están jugando en la pared, pero la pared es de ladrillo".

ProCap es el primer paso para que las máquinas entiendan la diferencia entre lo que es real y lo que es luz, permitiéndoles interactuar con el mundo de una forma mucho más inteligente y segura.

En resumen: ProCap es como un par de gafas especiales para la Inteligencia Artificial que le permiten distinguir entre la "pintura" (lo proyectado) y el "lienzo" (lo real), evitando que se vuelva loca al describir el mundo.

Resumen técnico

Resumen Técnico: ProCap para Realidad Aumentada Espacial (SAR)

1. El Problema: Ambigüedad Virtual-Física y Degradación Perceptiva

La Realidad Aumentada Espacial (SAR) superpone contenido digital sobre escenas físicas mediante proyectores, creando experiencias inmersivas sin necesidad de gafas. Sin embargo, para que los sistemas SAR puedan interactuar inteligentemente (razonamiento, respuesta a consultas), deben distinguir semánticamente entre el escenario físico y el contenido proyectado.

Los Modelos de Lenguaje Visuales (VLM) estándar enfrentan tres brechas críticas en entornos SAR:

1. Ambigüedad Virtual-Física: Los VLMs convencionales asumen que todos los objetos en una imagen son parte física de la escena. En SAR, esto provoca descripciones "fusionadas" o alucinaciones (ej. identificar un surfista proyectado sobre una almohada como una imagen impresa en la almohada).
2. Degradación Perceptiva: El contenido proyectado sufre distorsiones geométricas y fotométricas debido a la forma de la superficie, la iluminación ambiental y el ángulo de proyección. Esto reduce la calidad de la imagen, haciendo que los VLMs estándar generen descripciones erróneas.
3. Falta de Benchmarks Semánticos: La comunidad SAR se ha centrado en tareas de bajo nivel (calibración, compensación). No existen conjuntos de datos a gran escala con anotaciones semánticas desacopladas para entrenar modelos que entiendan estas escenas complejas.

2. Metodología: El Marco ProCap

ProCap es un marco novedoso diseñado para desacoplar explícitamente el contenido proyectado de la escena física mediante un pipeline de dos etapas:

• Etapa 1: Segmentación Automática y Aislamiento de Capas

  • Utiliza un codificador visual congelado (CLIP ViT-g) para extraer características globales.
  • Emplea un módulo de segmentación (basado en convoluciones y capas de deconvolución) para generar una máscara binaria que aísla la región de proyección del fondo físico.
  • Aplica un mecanismo de Mask Pooling para extraer características específicas de la proyección ($Z_p$) y de la escena física ($Z_c$) de manera independiente, evitando la mezcla de contextos.

• Etapa 2: Recuperación Consciente de la Región (Region-Aware Retrieval)

  • Para mitigar la degradación causada por las distorsiones de la proyección, el sistema no confía únicamente en la imagen distorsionada.
  • Extrae características de la región proyectada y las compara con una base de conocimientos semántica externa (derivada del dataset LVIS).
  • Mediante un mecanismo de recuperación, identifica los nombres de objetos "limpios" (ground truth) que corresponden al contenido proyectado, incluso si la imagen visual es borrosa o deformada.
  • Estos contextos semánticos recuperados se fusionan con las características visuales para alimentar al descodificador de lenguaje.

• Generación de Doble Descripción (Dual-Captioning)

  • El modelo genera dos descripciones separadas utilizando tokens específicos de tarea ([SCENE] y [PROJ]):
    1. Una descripción de la escena física (objetos reales, entorno).
    2. Una descripción del contenido proyectado (lo que se está proyectando).

3. Contribuciones Clave

1. Marco ProCap: Un pipeline de dos etapas que resuelve la ambigüedad virtual-física mediante segmentación automática y recuperación semántica, permitiendo descripciones de alta fidelidad para ambas capas.
2. Dataset RGBP (RGB + Projections): El primer benchmark semántico a gran escala para SAR.
   • Contiene 65 escenas físicas diversas y más de 180,000 proyecciones.
   • Incluye anotaciones desacopladas: máscaras de segmentación binaria y dos "Ground Truth" (GT) separados (uno para la escena y otro para la proyección).
   • Cubre variaciones de iluminación, geometrías (planas, curvas) y tipos de superficies.
3. Protocolo de Evaluación de Doble Descripción: Un nuevo protocolo que evalúa independientemente la capacidad del modelo para describir la escena física y el contenido proyectado, evitando que un buen rendimiento en una tarea enmascare fallos en la otra.

4. Resultados Experimentales

Los experimentos se realizaron comparando ProCap con VLMs de vanguardia (FastVLM, Qwen3-VL) en el dataset RGBP:

• Rendimiento en Escenas Vistas (Seen Scenes):

  • ProCap superó significativamente a los modelos base en la tarea de descripción de escenas físicas. Por ejemplo, ProCap TinyLlama-1.1B logró un puntaje CIDEr de 70.27 en el subconjunto COCO, frente a ~2.38 de los modelos base.
  • En la tarea de descripción de proyecciones, los modelos base fallaron estrepitosamente (CIDEr ~11.56) debido a la ambigüedad, mientras que las variantes de ProCap lograron puntuaciones mucho más altas (ej. ProCap Vicuna-1.5-7B alcanzó 78.99).
  • La versión ajustada (Fine-tuned) de Qwen3-VL-8B sobre RGBP logró un CIDEr dominante de 127.58 en proyecciones, demostrando la importancia del dataset.

• Generalización a Escenas No Vistas (Unseen Scenes):

  • ProCap mantuvo una ventaja en la descripción de proyecciones en escenas y contenidos no vistos durante el entrenamiento, confirmando que el mecanismo de recuperación semántica es robusto ante nuevos objetos.
  • En la descripción de escenas físicas, aunque hubo una brecha de rendimiento respecto a modelos masivos pre-entrenados (debido a la complejidad de la iluminación SAR), ProCap demostró una capacidad superior para evitar alucinaciones sobre el contenido proyectado.

• Estudios de Ablación:

  • La eliminación del módulo de segmentación o del mecanismo de recuperación (RAR) causó caídas drásticas en la precisión, confirmando que ambos componentes son esenciales para resolver la ambigüedad y la distorsión.

5. Significado e Impacto

Este trabajo representa un paso fundamental para la evolución de la SAR:

• De la Calibración al Razonamiento: Permite pasar de sistemas SAR que solo se enfocan en corrección geométrica/calibración a agentes autónomos capaces de razonar semánticamente sobre el entorno.
• Fundamento para Agentes Inteligentes: Proporciona la base semántica necesaria para que los sistemas SAR puedan responder a consultas de usuarios ("¿Qué se está proyectando?") o interactuar dinámicamente basándose en el contenido virtual y físico por separado.
• Generación de Contenido: El dataset RGBP y el enfoque de doble descripción habilitan nuevas posibilidades en la síntesis de escenas SAR mediante instrucciones de lenguaje natural, permitiendo el control independiente del entorno físico y el contenido virtual.

En conclusión, ProCap establece un nuevo estándar para la comprensión de escenas en Realidad Aumentada Espacial, demostrando que el desacoplamiento explícito de capas y la recuperación de conocimiento externo son esenciales para superar las limitaciones de los modelos de visión actuales en entornos híbridos.