Through the Looking Glass: A Dual Perspective on Weakly-Supervised Few-Shot Segmentation

Resumen Técnico: Through the Looking Glass (TLG)

Planteamiento del Problema
Los enfoques actuales de meta-aprendizaje para la segmentación semántica de pocos disparos (few-shot) suelen emplear arquitecturas de red idénticas tanto para las ramas de soporte como para las de consulta. Si bien estos métodos pretenden extraer sesgos inductivos de pares soporte-consulta homólogos (imágenes que comparten la misma categoría), los autores argumentan que este diseño de "red homóloga" conduce a una sobre-homogeneización semántica. Al forzar a ambas ramas a operar dentro del mismo espacio de mapeo semántico, los modelos tienden a enfatizar excesivamente las características compartidas (porاً, una "cabeza" común a todos los perros) mientras descuidan los detalles heterogéneos a nivel de instancia (por ejemplo, colores de pelaje o tamaños específicos). Esto resulta en una sub-segmentación y limita la capacidad del modelo para capturar información semántica complementaria. Además, en el contexto de la Segmentación Semántica de Pocos Disparos Débilmente Supervisada (WFSS), donde solo se dispone de etiquetas a nivel de imagen (careciendo de máscaras precisas a nivel de píxel), los modelos de vanguardia (SOTA) existentes suelen sufrir de altos conteos de parámetros y costos computacionales, y aun así no logran explotar plenamente el potencial de los sesgos multimodales.

Metodología
El artículo propone TLG (Through the Looking Glass), una novedosa red homóloga pero heterogénea diseñada para tratar los pares soporte-consulta como perspectivas duales. El marco de trabajo se construye sobre tres módulos centrales:

1. Agregación Heterogénea (HA): En lugar de extraer características de capas de backbone idénticas para ambas ramas, TLG emplea una estrategia de selección de capas diferenciada. Por ejemplo, la rama de soporte puede extraer características de las capas 3, 9 y 12, mientras que la rama de consulta extrae de las capas 0, 4 y 10. Esta heterogeneidad intra-capa maximiza la riqueza semántica al aprovechar simultáneamente los detalles de bajo nivel (consulta) y la semántica de alto nivel (soporte), preservando al mismo tiempo la comunalidad semántica mediante mecanismos de concatenación y correlación.
2. Transporte Heterogéneo (HT): Para abordar el ruido semántico inevitablemente introducido por la agregación de características heterogéneas, el módulo HT utiliza Transporte Óptimo (OT). Este modela el alineamiento de la información semántica heterogénea como un problema de minimización de costo de transporte (resuelto mediante el algoritmo de Sinkhorn). Este proceso suprime el ruido y las características redundantes mientras mejora la relevancia contextual a través de mecanismos de atención cruzada. Adicionalmente, se introducen los Residuales Heterogéneos (HR) para preservar una parte de las características de entrada originales, asegurando que la diversidad de la representación no se pierda durante el alineamiento.
3. CLIP Heterogéneo (HC): Para mejorar la generalización, TLG integra información textual multimodal de CLIP. A diferencia de los métodos anteriores que mapean todos los sesgos de fondo a un espacio común, TLG introduce una estrategia de máximo emparejamiento. Utiliza un enfoque de Cadena de Pensamiento (vía LLMs como ChatGPT) para identificar categorías de fondo específicas que coocurren con objetos de primer plano (por ejemplo, "pájaro" con "árbol" y "cielo"). Estos prompts textuales finos y heterogéneos (por ejemplo, "pájaro con plumas") se fusionan con las características visuales mediante un adaptador CLIP heterogéneo, mejorando el alineamiento entre los sesgos textuales y la semántica visual.

Contribuciones Clave

• Cambio de Paradigma: Los autores identifican la limitación de la homogeneidad en el meta-aprendizaje y proponen un diseño de red homóloga pero heterogénea, argumentando que las arquitecturas distintas pero semánticamente alineadas capturan mejor la "heterogeneidad de lo heterogéneo".
• Módulos Novedosos: La introducción de los módulos HA, HT y HC para abordar específicamente la sobre-homogeneización semántica, la reducción de ruido en la agregación heterogénea y la generalización multimodal, respectivamente.
• Eficiencia y Rendimiento: TLG logra ganancias significativas de rendimiento con recursos computacionales drásticamente reducidos. Utiliza solo 1/24 de los parámetros entrenables de los modelos SOTA existentes (específicamente AFANet).
• Avance en Supervisión Débil: El artículo afirma que TLG es el primer modelo débilmente supervisado (etiqueta a nivel de imagen) que supera a los modelos totalmente supervisados (etiqueta a nivel de píxel) bajo las mismas arquitecturas de backbone.

Resultados Experimentales
Se realizaron experimentos extensos en los conjuntos de datos Pascal-5i y COCO-20i utilizando etiquetas a nivel de imagen.

• Pascal-5i: Con un backbone ResNet50, TLG logró un 77.2 mIoU en la configuración de 1-shot y 77.9 mIoU en la configuración de 5-shot. Esto representa una mejora del 13.2% sobre el modelo de supervisión débil SOTA, AFANet.
• COCO-20i: TLG logró un 51.5 mIoU (1-shot) y 51.6 mIoU (5-shot), mostrando una mejora del 7.9% sobre AFANet.
• Ligereza: A pesar de las ganancias de rendimiento, TLG requiere solo 4.47M de parámetros aprendibles (comparado con los 108.35M de AFANet) y presenta significativamente menores FLOPs y latencia de inferencia (por ejemplo, 36.72ms frente a 73.21ms para la inferencia de 1-shot en ResNet50).
• Comparación con Totalmente Supervisado: TLG supera a los modelos SOTA totalmente supervisados (por ejemplo, VRP-SAM, PGMA-Net) en Pascal-5i, a pesar de utilizar únicamente etiquetas gruesas a nivel de imagen.

Significancia y Reivindicaciones
El artículo postula que el núcleo de un meta-aprendizaje efectivo no reside en forzar la uniformidad, sino en aprovechar la heterogeneidad complementaria. Al tratar el soporte y la consulta como perspectivas duales con rutas de extracción de características distintas, TLG desbloquea todo el potencial de los modelos de meta-aprendizaje. Los autores afirman que TLG establece un nuevo referente para el aprendizaje débilmente supervisado, demostrando que la supervisión a nivel de imagen, cuando se combina con un diseño de red heterogénea y sesgos multimodales, puede superar el rendimiento de sus contrapartes totalmente supervisadas. Esto sugiere un cambio en la filosofía de diseño donde la "heterogeneidad" no es solo un desafío a superar, sino un recurso para ser diseñado para una mejor generalización en escenarios de escasez de datos.