Resumen Técnico: Descubrimiento de Categorías Basado en Referencias (RefCD)

Enunciado del Problema

Los paradigmas existentes de detección de objetos enfrentan una dicotomía entre la supervisión y la generalización. Los métodos supervisados tradicionales dependen en gran medida de anotaciones manuales laboriosas y se limitan a categorías predefinidas, lo que restringe su escalabilidad a objetos no vistos. Por el contrario, los métodos de detección de objetos no supervisados (por ejemplo, TokenCut, CutLER) localizan con éxito objetos de primer plano sin etiquetas, pero carecen de conciencia de categoría; tratan todos los objetos detectados como una única clase de primer plano, volviéndolos incapaces de clasificación o de distinguir entre diferentes tipos de objetos.

Mientras tanto, los métodos de detección de una sola muestra (one-shot) y de vocabulario abierto intentan abordar categorías novedosas, pero generalmente requieren etiquetas de categoría manuales para el ajuste fino o dependen de grandes modelos de visión-lingüística preentrenados con costos computacionales significativos. Persiste una brecha para un método que pueda realizar detección con conciencia de categoría (identificando tipos específicos de objetos) de manera completamente no supervisada, sin ninguna anotación manual ni listas de categorías predefinidas.

Metodología: Descubrimiento de Categorías Basado en Referencias (RefCD)

Los autores proponen RefCD, un detector no supervisado que aprovecha imágenes de referencia sin etiquetas para guiar el aprendizaje de características con conciencia de categoría. El marco funciona sin etiquetas de categoría explícitas, utilizando en su lugar la similitud de características para asociar los objetos detectados con instancias de referencia.

1. Descripción General de la Arquitectura

RefCD consta de dos componentes principales:

• Codificador de Referencia: Un Transformador de Visión (ViT) auto-supervisado congelado (específicamente DINOv2) utilizado para extraer representaciones de características tanto de los parches de la imagen objetivo (cajas pseudo) como de las imágenes de referencia proporcionadas por el usuario.
• Detector: Un detector basado en transformadores (RT-DETR) entrenado para realizar dos tareas simultáneamente:
  • Detección Agnóstica a la Categoría: Localizar todos los objetos de primer plano utilizando pérdidas de clasificación binaria y regresión.
  • Emparejamiento Consciente de la Categoría: Identificar objetos que comparten la misma categoría implícita que la imagen de referencia mediante similitud de características.

2. Pérdida de Similitud de Características (FS)

La innovación central de RefCD es la pérdida de Similitud de Características (FS), que reemplaza las pérdidas de clasificación tradicionales (por ejemplo, entropía cruzada) que requieren etiquetas de verdad fundamental. La pérdida funciona de la siguiente manera:

• Asignación: En lugar de emparejar predicciones con anotaciones basadas en etiquetas de categoría, RefCD utiliza el algoritmo húngaro con una función de costo basada en la similitud de características (similitud coseno entre características de consulta y características de caja pseudo) y la distancia de la caja delimitadora.
• Cálculo de la Pérdida: La pérdida FS ($L_{FS}$) restringe al detector para maximizar la similitud entre una consulta predicha y una imagen de referencia si pertenecen a la misma categoría implícita, y minimizarla en caso contrario.
  • Para pares emparejados donde la caja pseudo corresponde a la imagen de referencia, la pérdida fomenta que la similitud de la consulta con la referencia coincida con la similitud de la caja pseudo con la referencia.
  • Para pares no emparejados, la pérdida penaliza la alta similitud.
• Estrategia de Entrenamiento: Durante el entrenamiento, las cajas pseudo se generan a partir de la imagen objetivo utilizando métodos no supervisados existentes (por ejemplo, MaskCut). Una caja pseudo aleatoria se selecciona como la "referencia" para esa iteración. El modelo aprende a asociar otros objetos en la imagen con esta referencia si comparten una alta similitud de características.

3. Inferencia

En la inferencia, el modelo no realiza una clasificación explícita. En su lugar, acepta una imagen de referencia proporcionada por el usuario. El detector genera cajas agnósticas a la categoría, y el sistema filtra/identifica objetos emparejando sus características de consulta con las características de la imagen de referencia. Los objetos con alta similitud de características se consideran coincidencias. Esto permite la detección de conjunto abierto, donde la "categoría" se define dinámicamente por la imagen de referencia en lugar de un conjunto fijo de etiquetas.

Contribuciones Clave

1. Detección No Supervisada Basada en Referencias: La propuesta de RefCD, el primer detector no supervisado capaz de detección con conciencia de categoría sin ninguna anotación manual, dependiendo únicamente de imágenes de referencia y similitud de características.
2. Pérdida de Similitud de Características: La introducción de una función de pérdida novedosa que guía el aprendizaje de características específicas de categoría potenciales en un paradigma no supervisado, cerrando la brecha entre la localización agnóstica a la categoría y el emparejamiento consciente de la categoría.
3. Marco Unificado: RefCD soporta tanto la detección agnóstica a la categoría (localizar todos los objetos) como la detección con conciencia de categoría (identificar instancias específicas) dentro de un único marco, donde esta última mejora a la primera mediante un mejor aprendizaje de características.

Resultados Experimentales

Los autores evaluaron RefCD en benchmarks estándar, demostrando un rendimiento de vanguardia en configuraciones no supervisadas.

• Detección Consciente de la Categoría (One-Shot):
  • En COCO NOVEL (20 categorías novedosas), RefCD logró 15.1% AP, superando al método supervisado anterior de vanguardia UNICL-SAM (13.2% AP) y superando significativamente a otros métodos supervisados de una sola muestra como Meta R-CNN (1.5% AP).
  • En GMOT-40 (seguimiento/detección en video), RefCD logró 31.8% AP50 y 30.2% AR, demostrando robustez al distinguir objetos de la misma categoría a través de cuadros de video.
• Detección Agnóstica a la Categoría:
  • En COCO 20K y val2017, RefCD logró 13.3% AP y 12.9% AP, respectivamente. Esto supera a métodos no supervisados líderes como CutLER (10.1% AP) y se acerca al rendimiento de CuVLER, a pesar de utilizar la misma tubería de generación de cajas pseudo.
• Extensiones:
  • Aprendizaje Débilmente Supervisado: Cuando se entrena solo con etiquetas de cajas delimitadoras (sin etiquetas de categoría) en COCO BASE, RefCD logró 24.9% AP en COCO NOVEL, superando a métodos supervisados completos de una sola muestra.
  • Seguimiento de Objeto Único (SOT): Aplicado al conjunto de datos VOT 2018, RefCD demostró un rendimiento competitivo en el seguimiento de instancias sin etiquetas explícitas.

Significado y Afirmaciones

El artículo afirma que RefCD elimina exitosamente la dependencia de anotaciones manuales para la detección con conciencia de categoría, una limitación que ha obstaculizado tanto a los métodos no supervisados tradicionales como a los enfoques de una sola muestra. Al cambiar el paradigma de "predecir una etiqueta" a "emparejar una referencia mediante características", RefCD habilita la detección de conjunto abierto, donde el sistema puede identificar objetos novedosos simplemente proporcionando un ejemplo.

Los autores enfatizan que su método no requiere listas de categorías predefinidas ni ajuste fino en datos etiquetados. Los resultados sugieren que aprender la similitud de características de manera no supervisada no solo permite la discriminación de categorías, sino que también mejora implícitamente la calidad de la localización agnóstica a la categoría (regresión de cajas delimitadoras). La obra se posiciona como un marco unificado que cierra la brecha entre el descubrimiento de objetos no supervisado y la detección basada en referencias, ofreciendo una solución escalable para detectar objetos en escenarios donde las anotaciones no están disponibles o son imprácticas.