Resumen Técnico: Replanteando el Aprendizaje de Similitud Basado en Prototipos para la Detección de Objetos con Pocos Disparos (Few-Shot)

Declaración del Problema

La detección de objetos con pocos disparos (FSOD, por sus siglas en inglés) tiene como objetivo detectar nuevas categorías de objetos utilizando solo unos pocos ejemplos etiquetados, evitando así el costo prohibitivo de la anotación a gran escala. Aunque los enfoques recientes de aprendizaje de similitud basado en prototipos (por ejemplo, DE-ViT, PiDiViT) han logrado el éxito al permitir la adaptación sin entrenamiento mediante el emparejamiento de características de consulta con prototipos de clase, los autores identifican dos limitaciones fundamentales en estos métodos existentes:

1. Confusión de Clase mediante el Colapso del Margen de Similitud Interclase: Los prototipos visuales construidos únicamente a partir de imágenes de soporte capturan inevitablemente componentes relacionados con el estilo que son compartidos entre diferentes clases. Estos componentes espurios inducen respuestas de similitud entre categorías semánticamente no relacionadas, causando que los límites de decisión entre clases colapsen y provocando una clasificación errónea sistemática.
2. Indicios Visuales Insuficientes para una Localización Precisa: En estos marcos de trabajo, la localización está condicionada principalmente por puntuaciones de similitud por clase. Dado que estas puntuaciones se calculan mediante similitud de coseno, codifican la afinidad semántica de clase (dirección del vector), pero proporcionan información espacial limitada respecto a los límites, formas y escala de los objetos, lo que hace que la regresión de la caja delimitadora sea inherentmente desafiante.

Metodología

El marco propuesto, ReSet, aborda estas limitaciones a través de dos componentes complementarios integrados en un flujo de trabajo unificado:

1. Máscara Semántica Anclada en Texto (TSMa)

Para mitigar la confusión de clase, TSMa aprovecha las características de texto a nivel de clase como anclas semánticas para filtrar los prototipos visuales.

• Mapeo de Características: Una función de mapeo ligera proyecta las características de texto de CLIP al espacio de características visuales de DINOv2 mediante aprendizaje contrastivo.
• Interacción de Canales: Para cada clase, el método calcula un producto elemento a elemento entre la característica de texto mapeada y las características visuales de las instancias de soporte. Los canales que son co-activados por ambas modalidades se identifican como semánticamente alineados.
• Agrupación y Puntuación: Los canales co-activados se agrupan (k-means), y su importancia se cuantifica mediante un mecanismo de puntuación TF-IDF. Esto asigna puntuaciones altas a los canales que se activan frecuentemente para una clase específica pero raramente para otras, suprimiendo efectivamente las respuestas de estilo que son ajenas a la clase.
• Enmascaramiento: Se aplica una máscara suave basada en rangos y aprendible al prototipo de clase, reteniendo solo los canales semánticamente discriminativos. Esto amplía el margen de similitud interclase y mejora la separabilidad de las clases.

2. Regresión Autoregresiva Jerárquica Alineada por Etapas (SHARe)

Para abordar la falta de indicios geométricos para la localización, SHARe reformula la tarea de detección como un proceso autoregresivo jerárquico.

• Inyección de Características Jerárquica: En lugar de depender de una única incrustación de similitud, SHARe utiliza las características por capas del backbone ViT congelado. Divide las capas de ViT en grupos e inyecta estas en múltiples etapas de regresión.
• Alineación de Orden Inverso: El método emplea una estrategia de inyección inversa. Las etapas de regresión tempranas utilizan capas de ViT más profundas (que codifican semántica de alto nivel y contexto global) para establecer extensiones de objetos gruesas. Las etapas subsecuentes incorporan progresivamente capas más superficiales (ricas en indicios de bajo nivel como bordes y texturas) para refinar los detalles espaciales y los límites.
• Refinamiento Autoregresivo: El proceso actualiza iterativamente la incrustación y predice los logits de la máscara a través de $S$ etapas. El logit de la máscara de la etapa anterior actúa como puerta para la inyección del indicio visual de la etapa actual, permitiendo que el modelo recupere progresivamente la información espacial perdida en el cálculo de similitud inicial.

Principales Contribuciones

1. Identificación de Cuellos de Botella: El artículo señala el colapso del margen de similitud interclase y la insuficiencia de indicios geométricos como los principales cuellos de botella estructurales en el aprendizaje de similitud basado en prototipos actual.
2. TSMa: Un mecanismo novedoso que utiliza características de texto para anclar y filtrar prototipos visuales, suprimiendo similitudes espurias inducidas por el estilo y mejorando la discriminabilidad de la clase sin necesidad de ajuste fino (fine-tuning).
3. SHARe: Un módulo de regresión autoregresiva jerárquica que alinea los niveles de abstracción de características con las etapas de regresión (en orden inverso), compensando eficazmente la falta de indicios espaciales en las puntuaciones de similitud.
4. Rendimiento de Vanguardia (State-of-the-Art): La integración de estos componentes establece un nuevo estado del arte en los benchmarks estándar.

Resultados Experimentales

El método fue evaluado en los conjuntos de datos COCO y Pascal VOC bajo configuraciones de uno, 10 y 30 disparos (one-shot, 10-shot, 30-shot).

• COCO 2014 (30-shot): ReSet supera al método anterior más avanzado (PiDiViT) por +10.1 nAP, +7.1 nAP50 y +9.8 nAP75.
• COCO 2017 (One-shot): El método logra un nAP50 promedio de 43.7, superando al SOTA anterior (PiDiViT con 32.8) por +10.9.
• Pascal VOC: Se observaron mejoras consistentes en todas las divisiones y configuraciones de disparos, con una mejora de nAP50 promedio de +6.9%.
• Estudios de Ablación:
  • Eliminar SHARe degrada significativamente la precisión de la localización (notado por una caída en nAP75).
  • Eliminar TSMa reduce la precisión de la clasificación (notado por una caída en nAP50).
  • La estrategia de inyección "Inversa" en SHARe supera a la inyección "Directa" (Forward), validando la hipótesis de que la semántica de alto nivel debe guiar la localización gruesa temprana mientras que los detalles de bajo nivel refinan las etapas posteriores.
  • El análisis de precisión Top-k muestra una mejora de +21.1% en la precisión Top-1 sobre PiDiViT, confirmando la ampliación de los márgenes de similitud interclase.

Significancia

El artículo afirma establecer una línea base sólida y reproducible para el aprendizaje de similitud basado en prototipos en FSOD. Al abordar los problemas duales de la confusión de clase y la imprecisión de la localización sin requerir ajuste fino adicional, ReSet demuestra que aprovechar las fortalezas complementarias del anclaje semántico basado en texto y las representaciones visuales jerárquicas puede avanzar significativamente el estado del arte. El trabajo proporciona un análisis sistemático que valida que mejorar la fiabilidad del cálculo de similitud y suplementarlo con indicios geométicos estructurados es crítico para una detección de pocos disparos robusta.