Visual Accommodation: Rethinking Image Scale as a Learnable Variable for Object Detection

Resumen Técnico: Ciliary-DETR

Enunciado del Problema
Las redes modernas de detección de objetos, particularmente aquellas basadas en la arquitectura DETR (DEtection TRansformer), operan típicamente con una resolución de entrada fija durante la inferencia. Si bien la augmentación de datos multi-escala durante el entrenamiento mejora la robustez ante variaciones de escala, la fase de inferencia carece de adaptabilidad específica a la muestra. A diferencia del sistema visual humano, que ajusta dinámicamente la profundidad focal (acomodación) para mantener una percepción estable, los detectores actuales tratan la resolución de la imagen como una elección de diseño estática en lugar de una variable dinámica dependiente de los datos. Los métodos existentes de escalado adaptativo a menudo dependen de arquitecturas multi-rama, estrategias de múltiples inferencias o conjuntos de resoluciones predefinidos, lo que obstaculiza la escalabilidad y la optimización de extremo a extremo. Además, la escala de entrada óptima para una imagen específica es inherentemente inobservable y carece de supervisión explícita, lo que hace que la optimización directa de la escala esté mal planteada bajo configuraciones de entrenamiento estándar.

Metodología: Ciliary-DETR
Los autores proponen Ciliary-DETR, un marco que trata la resolución de la imagen como una variable aprendible análoga al músculo ciliar biológico que ajusta el cristalino del ojo. El método introduce un módulo ligero de Predictor de Escala colocado antes del backbone de detección para estimar dinámicamente un factor de escala dependiente de la entrada ($\phi$).

• Arquitectura: El predictor de escala consiste en un backbone ligero (ResNet-18) y una cabeza de predicción. Toma una imagen de entrada, la submuestrea para reducir la sobrecarga computacional y emite un factor de escala escalar restringido dentro de un rango deseado $[\tau_{min}, \tau_{max}]$. Este factor se utiliza para redimensionar la imagen mediante interpolación bilineal antes de pasarla a la red de detección (por ejemplo, DN-DETR).
• Estrategia de Entrenamiento: El marco emplea un proceso de entrenamiento de dos etapas que aprovecha la filosofía de "supernet":
  1. Entrenamiento Multi-Escala (MS): La red de detección se entrena inicialmente con augmentación de datos MS para construir robustez ante variaciones de escala.
  2. Optimización Conjunta: El predictor de escala y la red de detección se entrenan conjuntamente. Durante esta fase, el rango de resolución varía (entrenamiento de subred) para explorar compensaciones entre rendimiento y eficiencia mientras se comparten pesos.
• Objetivos de Optimización: Para abordar la falta de etiquetas de escalado de verdad fundamental, los autores introducen dos objetivos complementarios impulsados por la pérdida:
  1. Pérdida de Escala: Una formulación probabilística basada en la Entropía Cruzada Binaria (BCE). Modela la preferencia por aumentar o reducir la escala como una función del tamaño del objeto, utilizando tamaños de anclaje ($A_{min}, A_{max}$) para definir regiones de saturación. Esta pérdida alienta a la red a aumentar la escala de objetos pequeños y reducirla para objetos grandes, con el fin de normalizar sus tamaños efectivos.
  2. Pérdida de Distribución: Esta pérdida alinea las decisiones de escalado con el rendimiento de detección aguas abajo sin supervisión explícita. Modela la relación entre la escala del objeto y la pérdida de detección utilizando una distribución Beta aprendible. Al minimizar la distancia de Wasserstein de 1 entre esta distribución paramétrica y una distribución de observación empírica (derivada de las pérdidas de detección), la red aprende a ajustar los tamaños de anclaje ($A_{min}, A_{max}$) para coincidir con las regiones sensibles al rendimiento de los datos.

Contribuciones Clave

1. Escala de Imagen Aprendible: El artículo propone una formulación novedosa donde la escala de la imagen se trata como una variable directamente aprendible, permitiendo un ajuste dinámico y dependiente de los datos de la resolución en una sola pasada hacia adelante.
2. Optimización Impulsada por Pérdida: Introduce un marco paramétrico y probabilístico para el comportamiento de escalado que no requiere anotaciones de escala explícitas. La combinación de la Pérdida de Escala y la Pérdida de Distribución permite una adaptación estable y basada en datos.
3. Razonamiento Multi-Escala en Pasada Única: El método cierra la brecha entre la robustez en tiempo de entrenamiento (mediante augmentación MS) y la adaptación en tiempo de prueba, logrando un razonamiento multi-escala efectivo sin la sobrecarga computacional de la inferencia multi-resolución explícita.
4. Modularidad y Compatibilidad: El marco está diseñado para ser compatible con detectores modernos basados en DETR sin requerir modificaciones arquitectónicas en la propia tubería de detección, preservando la simplicidad de la red de detección.

Resultados Experimentales
Extensos experimentos en los conjuntos de datos MS COCO y LVIS demuestran la efectividad de Ciliary-DETR:

• Compensación Rendimiento-Eficiencia: En comparación con bases fuertes (por ejemplo, DN-DETR-R50 y Swin-S), Ciliary-DETR logra ganancias consistentes de precisión (por ejemplo, +1.3 AP en R50, +1.1 AP en Swin-S) mientras reduce la complejidad computacional (GFLOPs) en aproximadamente un 17–19%.
• Generalización Zero-Shot: El predictor de escala puede aplicarse zero-shot a arquitecturas de detección no vistas (por ejemplo, Deformable-DETR, DINO-DETR, H-DETR), reduciendo los GFLOPs en un 18–19% mientras mantiene o mejora ligeramente el AP.
• Comparación con TTA: El método supera la selección aleatoria de resolución y la augmentación de prueba multi-escala ingenua (TTA). Logra resultados cercanos a una búsqueda por fuerza bruta (BFS) para la resolución óptima (con una brecha de 0.4–0.5 AP), pero lo hace de una manera totalmente aprendible y en una sola pasada.
• Robustez: El modelo demuestra una fuerte robustez en un amplio rango de resoluciones en tiempo de prueba, superando a las bases de resolución fija incluso en resoluciones fuera del rango de entrenamiento.

Significado y Afirmaciones
El artículo afirma que Ciliary-DETR ofrece una dirección ortogonal a la optimización arquitectónica tradicional al centrarse en la adaptación a nivel de entrada. Al emular la acomodación visual biológica, el marco permite una inferencia flexible y eficiente en una sola pasada que se ajusta dinámicamente al contenido de cada imagen. Los autores enfatizan que este enfoque cierra la brecha entre la augmentación en tiempo de entrenamiento y la adaptación en tiempo de prueba, permitiendo un despliegue escalable sin obstaculizar la modularidad de las tuberías de detección modernas. El trabajo sugiere que tratar la resolución como una variable aprendible es una estrategia viable y efectiva para mejorar tanto la precisión como la eficiencia de los sistemas de detección de objetos.