💻 computer science

Instance-Guided Unsupervised Domain Adaptation for Robotic Semantic Segmentation

Este trabajo propone un método de adaptación de dominio no supervisada para la segmentación semántica robótica que genera y refina pseudoetiquetas consistentes a nivel de instancia utilizando un mapa 3D volumétrico y un modelo fundacional de segmentación, mejorando así el rendimiento en entornos de despliegue sin necesidad de etiquetas reales.

Autores originales: Michele Antonazzi, Lorenzo Signorelli, Matteo Luperto, Nicola Basilico

Publicado 2026-02-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michele Antonazzi, Lorenzo Signorelli, Matteo Luperto, Nicola Basilico

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un robot aspirador muy inteligente, pero que solo ha aprendido a limpiar tu casa de día, con buena luz y muebles de un estilo muy específico. Ahora, quieres que trabaje en la casa de tu abuela, que está oscura, tiene muebles antiguos y un perro que se mueve mucho.

El robot se confunde. Lo que para él era una "silla" en su entrenamiento, ahora parece una "mesa" o una "pared" en la casa de tu abuela. A esto los expertos le llaman "cambio de dominio" (cuando el entorno cambia y el robot no está preparado).

Aquí es donde entra este paper, que propone una solución genial para que el robot aprenda por sí mismo sin que tú tengas que enseñarle cada objeto manualmente. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El Robot se "Alucina"

Cuando el robot entra en la nueva casa, toma fotos y trata de adivinar qué es cada cosa. Como nunca ha visto esos muebles, se equivoca mucho.

La solución antigua (Consistencia Multi-vista): Imagina que el robot da varias vueltas alrededor de un sofá. En lugar de confiar en una sola foto, junta todas las fotos que tomó desde diferentes ángulos y crea un mapa 3D de la habitación. Si en 10 fotos el sofá parece un sofá, el mapa dice "es un sofá".
- El fallo: A veces, el robot ve solo una esquina del sofá y la confunde con una pared. Como el mapa 3D es como un "promedio" de todas las vistas, esa confusión se queda grabada en el mapa. Es como si mezclaras 10 fotos de un perro con una foto de un gato; el resultado final sería un animal raro y confuso. Además, el proceso de crear ese mapa 3D a veces deja "artefactos" (manchas extrañas o bordes borrosos).

2. La Innovación: El "Detective de Objetos" (SAM)

Los autores dicen: "¡Espera! No solo contemos las fotos, ¡reconozcamos los objetos!"
Aquí es donde usan una herramienta mágica llamada SAM (Segment Anything Model), que es como un super-detective que puede ver una foto y decirte: "¡Esa mancha roja es un solo objeto, no dos!".

Su método tiene tres pasos simples:

Crear el borrador (El Mapa 3D): El robot hace su mapa 3D como antes, juntando todas las vistas. Esto le da una buena idea general, pero sigue teniendo errores (como confundir la esquina de un armario con una pared).
La "Revisión del Detective" (Refinamiento): Aquí viene la magia. El robot toma la foto original y le pide al "Detective SAM": "Oye, ¿dónde están los objetos individuales?".
- SAM dibuja un recuadro alrededor de todo el armario, aunque el robot solo viera una parte.
- El robot mira dentro de ese recuadro y dice: "Ah, dentro de este recuadro, la mayoría de las veces vi que era un armario, no una pared. ¡Corrijo el mapa!".
- Analogía: Es como si tuvieras un borrador de un dibujo hecho por un niño (el mapa 3D) que tiene partes borrosas. Luego, un artista profesional (SAM) pasa por encima, dibuja los contornos exactos de cada objeto y te dice: "Aquí termina la silla y empieza la mesa". El robot usa esa corrección para limpiar sus errores.
Aprender de la corrección: Con estas etiquetas corregidas y perfectas, el robot vuelve a entrenarse. Ahora sí sabe que en la casa de la abuela, ese mueble es un armario, no una pared.

3. Dos formas de pedirle al Detective (Estrategias de "Prompting")

El paper explica que pueden pedirle al detective de dos formas:

La cuadrícula (Grid): Le dicen al detective: "Mira en cada punto de esta cuadrícula imaginaria sobre la foto". Es muy detallado, pero a veces se confunde y divide un solo objeto en muchos pedazos (como cortar un pastel en trozos demasiado pequeños).
La informada (Informed): Le dicen: "Mira lo que el mapa 3D ya pensó que eran objetos y ayúdame a definir sus bordes". Es más conservador y evita cortar objetos, pero a veces es menos preciso en formas extrañas.
La combinación: Lo mejor es usar las dos a la vez. Es como tener dos detectives: uno muy detallista y otro muy prudente. Juntos se complementan y el robot aprende mucho mejor.

¿Por qué es importante esto?

Antes, para que un robot funcionara en una casa nueva, necesitabas a un humano que pasara horas etiquetando cada mueble en las fotos (como un maestro corrigiendo exámenes). Eso es caro y lento.

Con este método:

El robot es autónomo: Aprende mientras camina por la casa.
No necesita humanos: Se corrige solo usando su propia memoria (el mapa 3D) y la inteligencia artificial de "detective" (SAM).
Es robusto: Si el robot se equivoca al principio, el paso de "refinamiento" lo arregla antes de que aprenda mal.

En resumen:
Imagina que el robot es un estudiante que llega a un nuevo país. Al principio habla mal el idioma (se equivoca al identificar muebles). En lugar de tener un profesor humano todo el día, el robot usa un diccionario inteligente (SAM) que le dice: "Oye, esa palabra que acabas de usar no encaja con la imagen de la silla, cámbiala". Gracias a esto, el robot aprende el nuevo idioma (el nuevo entorno) rápidamente y sin ayuda externa, convirtiéndose en un experto en su nueva casa.

Resumen Técnico

1. El Problema

La segmentación semántica es fundamental para la percepción robótica, permitiendo a los sistemas autónomos interpretar entornos complejos a nivel de píxel. Sin embargo, estos modelos suelen entrenarse en conjuntos de datos fuente (condiciones controladas) y sufren una degradación significativa de rendimiento al desplegarse en entornos objetivo reales no vistos (desplazamiento de dominio o domain shift).

Desafío principal: En robótica móvil, es costoso y poco práctico obtener etiquetas de ground-truth (verdad fundamental) en el entorno de despliegue para ajustar el modelo.
Limitación de métodos actuales: Las técnicas de Adaptación de Dominio No Supervisada (UDA) existentes, que utilizan consistencia multi-vista (agregando predicciones en un mapa 3D), mejoran la coherencia espacial pero siguen siendo vulnerables a inconsistencias a nivel de instancia. Es decir, pueden asignar múltiples categorías a un mismo objeto o generar artefactos visuales debido a la reconstrucción 3D y a la falta de coherencia semántica por objeto.

2. Metodología Propuesta

Los autores proponen un marco novedoso que combina la consistencia multi-vista con una refinamiento guiado por instancias utilizando modelos fundacionales (foundation models). El proceso se divide en tres etapas principales (ver Fig. 2 del artículo):

Generación de Pseudo-etiquetas Consistentes Multi-vista ( $Y_{MC}$ ):
- Se toma un modelo pre-entrenado ( $f_{\theta_s}$ ) y se ejecuta en una secuencia de imágenes del entorno objetivo.
- Las predicciones de cada frame se agregan en una representación volumétrica 3D (usando Kimera Semantics y TSDF).
- Se renderizan nuevas etiquetas pseudo-consistentes proyectando la información del mapa 3D de vuelta a las vistas de la cámara. Esto elimina el ruido de las predicciones frame a frame, pero puede introducir errores de agregación (ej. un objeto parcialmente visible se clasifica mal y domina la votación en el voxel).
Refinamiento Guiado por Instancias ( $Y_{IR}$ ):
- Se introduce una etapa crítica para corregir los errores de la etapa anterior utilizando el modelo Segment Anything (SAM).
- Estrategia de Prompting: Se proponen dos estrategias automáticas y complementarias para consultar a SAM:
  - Grid (Rejilla): Utiliza una cuadrícula fija de puntos como prompts para detectar instancias en la imagen RGB. Es bueno para objetos complejos u ocultos.
  - Informed (Informado): Extrae prompts (cajas delimitadoras y centroides) directamente de las pseudo-etiquetas multi-vista ( $Y_{MC}$ ) agrupando regiones conectadas. Es más conservador y evita la sobre-segmentación.
- Fusión: Para cada máscara de instancia detectada por SAM, se identifica la categoría semántica más frecuente dentro de esa máscara según las etiquetas $Y_{MC}$ . Luego, se sobrescribe la etiqueta de todos los píxeles de esa instancia con la categoría dominante, asegurando coherencia a nivel de objeto y eliminando artefactos de renderizado.
Ajuste Fino Auto-supervisado:
- Las pseudo-etiquetas refinadas ( $Y_{IR}$ ) se utilizan como supervisión para realizar un fine-tuning del modelo fuente, obteniendo un modelo adaptado ( $f_{\theta_t}$ ) listo para el despliegue sin necesidad de etiquetas humanas en el objetivo.

3. Contribuciones Clave

Nuevo Marco UDA Robótico: Un enfoque que integra la consistencia multi-vista con el refinamiento consciente de instancias para la segmentación semántica.
Integración de Modelos Fundacionales: Uso de SAM (Segment Anything Model) en una etapa de refinamiento con dos estrategias de prompting automático (grid e informed) que se complementan mutuamente.
Evaluación Exhaustiva: Validación en datos reales (dataset ScanNet) demostrando mejoras tanto en la calidad de las pseudo-etiquetas como en el rendimiento final del modelo de segmentación, sin usar ground-truth en el dominio objetivo.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset ScanNet (1513 secuencias en 707 entornos interiores), comparando el método propuesto contra baselines de estado del arte (consistencia multi-vista pura).

Calidad de Pseudo-etiquetas: El refinamiento por instancias mejoró la precisión (mIoU) de las etiquetas multi-vista en un 3.8% - 4.1% en promedio. A diferencia del baseline, que a veces degradaba el rendimiento en entornos específicos, el método propuesto fue consistente en mejorar o mantener la calidad en todos los casos.
Rendimiento del Modelo Adaptado:
- En la configuración de entrenamiento/prueba dentro de la misma secuencia, el método superó al baseline multi-vista en un 4.3% - 5.7% (mIoU) dependiendo de la estrategia de prompting.
- En la configuración más realista (entrenamiento y prueba en secuencias diferentes del mismo entorno), la mejora fue de aproximadamente 7% sobre el baseline.
- La combinación de ambas estrategias de prompting (IRGI) logró los mejores resultados, alcanzando un mIoU promedio de 52.0% (con voxel de 5cm) y 52.3% (con voxel de 3cm).
Robustez: El método demostró ser menos sensible al tamaño del voxel en el mapa 3D que los métodos baselines, lo cual es crucial para despliegues robóticos donde el poder de cómputo es limitado.

5. Significado e Impacto

Este trabajo es significativo porque aborda una limitación crítica en la adaptación de dominio robótica: la incoherencia a nivel de instancia. Mientras que los métodos anteriores se centraban en la consistencia espacial (píxeles vecinos), este enfoque asegura que todo un objeto tenga una etiqueta semántica coherente, corrigiendo errores sistemáticos causados por oclusiones parciales o artefactos de reconstrucción 3D.

Al utilizar modelos fundacionales (SAM) de forma no supervisada y automática, el método permite que los robots adapten su percepción en tiempo de despliegue de manera autónoma, mejorando la seguridad y eficacia en tareas de navegación e interacción en entornos desconocidos, sin depender de costosos procesos de anotación manual.