See, Act, Adapt: Active Perception for Unsupervised Cross-Domain Visual Adaptation via Personalized VLM-Guided Agent

El artículo presenta Sea², un marco de adaptación visual no supervisada que utiliza un agente guiado por un modelo de lenguaje visual personalizado para controlar la pose y seleccionar vistas informativas, mejorando significativamente el rendimiento de modelos de percepción preentrenados en entornos interiores sin necesidad de reentrenarlos ni usar etiquetas.

Lo esencial

¡Hola! Imagina que tienes un detective experto (el modelo de visión) que ha pasado años leyendo miles de libros y viendo millones de fotos de ciudades, paisajes y objetos en internet. Este detective es increíblemente bueno reconociendo cosas en fotos "normales".

Pero, si le pones una cámara en la cabeza y lo metes en una casa real, con muebles reales, luces extrañas y cosas escondidas detrás de otras, el detective se vuelve un poco torpe. Se confunde, no ve bien y comete errores.

La forma tradicional de arreglar esto es "re-entrenar" al detective: darle clases privadas, mostrarle miles de fotos de esa casa específica y obligarlo a memorizarlas. El problema es que esto es caro, lento y hace que el detective olvide todo lo que sabía antes (como si aprendiera a conducir un coche nuevo y olvidara cómo caminar).

Los autores de este paper, Sea2, dicen: "¡Espera! No necesitamos cambiar al detective. Necesitamos cambiar a quien le dice dónde mirar."

Aquí te explico cómo funciona su idea, Sea2 (Ver, Actuar, Adaptar), con analogías sencillas:

1. El Detective y el Guía (La Idea Principal)

En lugar de cambiar al detective (el modelo de visión), mantienen a ese detective congelado (no lo tocan, no lo re-entrenan). En su lugar, contratan a un Guía Inteligente (un agente de IA basado en un modelo de lenguaje grande o VLM).

• El Detective: Solo ve lo que el guía le muestra. Es experto, pero estático.
• El Guía: Es como un turista con un mapa mental. Su trabajo es mover la cámara (el "cuerpo" del agente) para encontrar el mejor ángulo posible.

2. ¿Cómo aprende el Guía? (El Proceso de Entrenamiento)

El Guía no nace sabiendo cómo moverse. Aprende en dos etapas, como un estudiante:

• Etapa 1: Las Clases de "Reglas Básicas" (Ajuste Supervisado)
  Imagina que le das al Guía un manual de instrucciones básico: "Si no ves el objeto, gira. Si lo ves pero está lejos, acércate. Si está en la esquina, muévete al centro".
  El Guía practica estas reglas en un entorno simulado hasta que entiende cómo moverse de forma lógica. Esto es como enseñarle a un niño a caminar antes de dejarlo correr.

• Etapa 2: El Juego de "Adivina y Mejora" (Aprendizaje por Refuerzo)
  Aquí es donde ocurre la magia. El Guía empieza a explorar la casa real. No tiene un profesor que le diga "¡Bien hecho!" o "¡Mal hecho!" con una hoja de respuestas (porque no hay etiquetas humanas).

  En su lugar, el Guía mira al Detective y le pregunta: "¿Qué tan seguro estás de lo que ves?".

  • Si el Detective dice: "Estoy 90% seguro de que eso es un sofá", el Guía recibe una recompensa (¡Bien!).
  • Si el Detective dice: "No estoy seguro, parece una mancha borrosa", el Guía recibe una penalización (¡Mal!).

  El Guía aprende a moverse solo basándose en la confianza del Detective. Si el Detective se vuelve más seguro, el Guía sabe que está en el ángulo correcto. Es como si el Guía aprendiera a tomar las mejores fotos para que el fotógrafo (el Detective) pueda trabajar mejor, sin necesidad de que nadie le diga cómo se ve la foto final.

3. ¿Por qué es genial esto? (Las Ventajas)

• No olvida nada: Como no tocan al Detective original, nunca olvida lo que sabía antes.
• Ahorra dinero: No necesitas contratar a miles de personas para etiquetar fotos de cada habitación nueva. El sistema aprende solo "mirando" y viendo si el Detective mejora su confianza.
• Funciona en cualquier lugar: Puedes usar el mismo Guía con diferentes Detectores (uno para buscar gatos, otro para medir muebles) y funciona igual de bien. Es como tener un conductor que sabe manejar cualquier coche, sin importar el modelo.

4. El Resultado (La Magia)

En sus pruebas, cuando el Guía usaba esta estrategia de "buscar el mejor ángulo":

• La capacidad de localizar objetos mejoró un 13.5%.
• La capacidad de recortar objetos (segmentación) mejoró un 15.9%.
• La capacidad de estimar el tamaño 3D de los muebles mejoró un 27.6%.

En resumen

Imagina que tienes un mapa del tesoro (el modelo de visión) que es perfecto, pero a veces el tesoro está escondido detrás de un árbol. En lugar de redibujar todo el mapa (re-entrenar), contratas a un explorador (el agente) que sabe cómo moverse para quitar el árbol de en medio y mostrar el tesoro claramente.

Sea2 es ese explorador inteligente que aprende a moverse solo mirando si el mapa se vuelve más claro, sin necesidad de que nadie le diga dónde está el tesoro de antemano. ¡Es una forma inteligente de adaptar la inteligencia artificial al mundo real sin gastar una fortuna ni perder lo que ya sabe!

Resumen técnico

Resumen Técnico: Sea2 (See, Act, Adapt)

1. El Problema

Los modelos de percepción visual preentrenados en grandes conjuntos de datos de internet (como COCO o imágenes web) muestran un rendimiento excelente en dominios genéricos, pero sufren una degradación significativa al ser desplegados en nuevos entornos "encarnados" (embodied), como escenas interiores. Esta caída en el rendimiento se debe a brechas de dominio en la distribución de puntos de vista, patrones de oclusión y semántica espacial.

Las soluciones convencionales implican el fine-tuning (ajuste fino) de los módulos de percepción en los datos de destino, lo cual presenta dos limitaciones críticas:

1. Olvido catastrófico: Se pierde el conocimiento previo del modelo.
2. Coste de anotación: Requiere anotaciones específicas de la escena (máscaras de píxeles, cajas 3D, expresiones de referencia) que son costosas y difíciles de obtener en entornos abiertos.

La pregunta fundamental que aborda el artículo es: ¿Es posible adaptar la percepción a nuevos dominios sin modificar los propios modelos de percepción?

2. Metodología: Sea2 (See, Act, Adapt)

El artículo propone un cambio de paradigma: en lugar de adaptar los módulos de percepción, se adapta cómo se despliegan. La idea central es que el rendimiento perceptivo depende no solo de la capacidad del modelo, sino críticamente de la informatividad del punto de vista de la observación.

Arquitectura del Agente:

• Congelamiento Total: Todos los módulos de percepción (Grounding, Segmentación, Estimación de Cajas 3D) permanecen congelados. No se actualizan sus parámetros.
• Agente de Control de Posa: Se utiliza un Modelo de Visión y Lenguaje (VLM) como un controlador de baja nivel para la pose de la cámara. El agente recibe una instrucción natural (ej. "segmenta el sofá cerca de la mesa") y ajusta su posición para obtener la mejor vista posible.
• Retroalimentación Escalar: El entrenamiento se basa únicamente en señales de retroalimentación escalar derivadas de los módulos congelados (ej. puntuaciones de confianza, consistencia geométrica), sin necesidad de etiquetas de ground-truth durante el entrenamiento.

Pipeline de Entrenamiento en Dos Etapas:

1. Ajuste Fino Supervisado (SFT): El VLM se entrena inicialmente con trayectorias de exploración basadas en reglas heurísticas (buscar objeto, centrar en la imagen, acercarse). Esto alinea el modelo con el razonamiento espacial y el formato de control, reduciendo la varianza en la exploración posterior.
2. Aprendizaje por Refuerzo No Supervisado (RL): Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) para refinar la política.
   • Función de Recompensa: Se construye sin etiquetas externas. La recompensa total ($r$) es una combinación ponderada de:
     • Recompensa de Formato ($r_f$): Asegura que la salida del modelo (pensamientos, tipo de tarea, acción) sea estructurada correctamente.
     • Recompensa de Confianza ($r_c$): Mide el aumento en la puntuación de confianza del módulo de percepción entre pasos consecutivos.
     • Recompensa Geométrica ($r_g$): Evalúa la consistencia espacial (área del objeto en la imagen y alineación con el centro de la imagen).
   • El agente aprende a navegar hacia vistas que maximizan estas métricas intrínsecas.

3. Contribuciones Clave

1. Primera Framework de Percepción Activa basada en VLM Plug-and-Play: Logra compatibilidad con diversos modelos de percepción "fuera de la caja" (off-the-shelf) sin necesidad de reentrenamiento específico por tarea.
2. Pipeline de RL No Supervisado: Introduce un método de entrenamiento que elimina la necesidad de anotaciones perceptivas densas (máscaras o cajas 3D), utilizando solo objetivos de nivel de tarea y salidas escalares de modelos congelados.
3. Desacoplamiento de Percepción y Control: Crea un marco modular donde la política de control se optimiza independientemente de la arquitectura de percepción, permitiendo transferencias cero-shot (zero-shot) entre diferentes arquitecturas y escenas.

4. Resultados Experimentales

Los experimentos se realizaron en entornos simulados realistas (Habitat) utilizando los conjuntos de datos ReplicaCAD y HM3D. Se evaluaron tres tareas de percepción visual:

• Visual Grounding (Localización de objetos).
• Segmentación (Identificación de máscaras).
• Estimación de Cajas 3D.

Rendimiento en ReplicaCAD (Mejoras respecto a la línea base de percepción preentrenada sin movimiento):

• Visual Grounding: +13.54% en mAP promedio.
• Segmentación: +15.92% en IoU (y +13.59% en Dice).
• Estimación de Cajas 3D: +27.68% en IoU y +25.35% en Puntuación de Centro.

Hallazgos Adicionales:

• Las estrategias de movimiento simples (moverse solo hacia adelante o aleatoriamente) degradan el rendimiento.
• Las heurísticas puras (sin aprendizaje) mejoran marginalmente, pero fallan ante errores iniciales de detección.
• El método supera incluso a una línea base de "Camino Más Corto" (que tiene conocimiento privilegiado de la ubicación 3D del objeto), demostrando que la selección estratégica del punto de vista es más importante que simplemente llegar a la ubicación del objeto.
• Los resultados en HM3D confirman la robustez del método en entornos más complejos y realistas.

5. Significancia e Impacto

El trabajo Sea2 establece una nueva dirección para la adaptación de dominio en la Inteligencia Artificial Encarnada (Embodied AI). Demuestra que es posible cerrar la brecha de dominio entre entornos genéricos y escenas interiores específicas sin tocar los modelos de percepción ni requerir anotaciones costosas.

Al transformar un VLM en un controlador de pose activo que busca vistas informativas, el sistema ofrece una alternativa eficiente y escalable al ajuste fino tradicional. Esto es crucial para aplicaciones en el mundo real donde las anotaciones son escasas y los modelos deben adaptarse rápidamente a nuevos entornos sin olvidar lo que ya saben.