Resumen Técnico: AnyDepth-DETR/-YOLO

Enunciado del Problema

Los detectores de objetos modernos suelen ser redes estáticas de profundidad fija, optimizadas para un único punto de operación. Esta rigidez obliga a entrenar modelos separados para diferentes escenarios de despliegue (por ejemplo, presupuestos de recursos variables o requisitos de latencia), lo que dificulta que una sola red satisfaga demandas heterogéneas. Aunque los métodos de cálculo adaptativo, como la salida anticipada y la adaptación del ancho, han demostrado ser efectivos en la clasificación de imágenes, su transferencia a la detección de objetos es deficiente. A diferencia de los clasificadores que producen una única salida global, los detectores dependen de una tubería backbone-neck-head estrechamente acoplada que requiere características jerárquicas multiescala. Saltar etapas de forma ingenua o podar canales rompe estas dependencias, degradando la calidad de las características y la precisión de la localización. Trabajos anteriores no han logrado un cálculo controlado por profundidad en la detección de objetos preservando la jerarquía completa de características multiescala necesaria para una detección robusta.

Metodología

Los autores proponen AnyDepth, un marco que permite a una sola red abarcar un rango continuo de compensaciones entre precisión y eficiencia, controlando la profundidad de la red en tiempo de inferencia sin necesidad de reentrenamiento. El principio de diseño central es la modularidad por etapas: garantizar que la salida de una subred más ligera sea intercambiable con la de una subred más completa en cada límite de etapa.

1. Descomposición Arquitectónica

Cada etapa tanto en el backbone como en el neck se divide en dos caminos:

• Camino Esencial: Se ejecuta siempre, aprendiendo la representación de características principal en la escala dada.
• Camino de Refinamiento: Saltable, proporciona un refinamiento adicional cuando hay disponibilidad de cómputo extra.

Esta descomposición preserva todas las etapas jerárquicas en cada configuración de profundidad, a diferencia de la salida anticipada convencional que descarta etapas completas.

• Etapas Residuales (ej. RT-DETR): El camino de refinamiento es puramente aditivo ($x_{full} = x_{ess} + \Delta$), compartiendo formas de tensores y evitando conflictos arquitectónicos.
• Etapas Estilo CSP (ej. YOLO): Dado que el ancho de concatenación depende del número de bloques ejecutados, los autores introducen una capa de agregación conmutable. Se utiliza una matriz de pesos dedicada para el camino esencial cuando se omite el camino de refinamiento, desacoplando completamente su flujo de gradientes del agregador de camino completo para evitar gradientes conflictivos.
• Normalización por Lotes Conmutable: Los bloques del camino esencial utilizan dos capas BN independientes (una para la ejecución de camino completo y otra solo para esencial) para ajustar las distribuciones de salida apropiadamente para cada modo, garantizando la compatibilidad en los límites de etapa.

2. Estrategia de Entrenamiento: Auto-Distilación

La optimización conjunta de todas las subredes posibles introduce señales de gradiente conflictivas. Para abordar esto, el marco entrena únicamente los dos extremos:

• Super-red: Ejecuta todos los caminos completos.
• Red Base: Ejecuta solo los caminos esenciales.

Estas se entrenan conjuntamente mediante auto-distilación, donde la super-red actúa como un profesor en línea para la red base. La función de pérdida combina la supervisión de la verdad terrenal con pérdidas de distilación:

• Alineación a Nivel de Predicción: Divergencia KL para los logits de clasificación y pérdida IoU/borde para las cajas de regresión.
• Alineación a Nivel de Características: Una pérdida explícita alinea los descriptores de canal de Promedio Global Pooled (GAP) entre los caminos esencial y completo en cada límite de etapa, imponiendo que las etapas aguas abajo reciban entradas compatibles independientemente del camino tomado.

Resolución de Conflictos en la Asignación de Objetivos:
Un desafío crítico es que la super-red y la red base pueden asignar diferentes anclas/consultas al mismo objeto de verdad terrenal debido a sus predicciones diferentes.

• Para AnyDepth-DETR: Los autores reordenan las consultas de primer plano de la super-red para alinearlas con el orden coincidente con el objetivo de la red base antes de aplicar la Distilación de Conocimiento (KD).
• Para AnyDepth-YOLO: Las asignaciones de anclas conflictivas (donde la misma ancla es asignada a diferentes objetos GT por las dos redes) se identifican y excluyen del conjunto de distilación, restringiendo la KD a objetivos inequívocos.

Contribuciones Clave

1. Marco Any-Depth: Una arquitectura y método de entrenamiento novedosos que permiten a un solo modelo ajustar dinámicamente la profundidad en la inferencia, cubriendo un espectro continuo de precisión-eficiencia.
2. Modularidad por Etapas: Un principio de diseño que garantiza la compatibilidad de características entre configuraciones de profundidad, logrado mediante la descomposición en caminos esencial/de refinamiento y adaptaciones arquitectónicas específicas (agregación conmutable y BN).
3. Auto-Distilación con Resolución de Conflictos: Una estrategia de entrenamiento que optimiza solo las subredes extremas mientras impone modularidad mediante la alineación de características y predicciones, abordando específicamente las discrepancias en la asignación de objetivos inherentes a las familias DETR y YOLO.
4. Primera Aplicación a Detectores en Tiempo Real SOTA: El marco se implementa en RT-DETR y YOLOv12, demostrando que es posible lograr una auto-distilación efectiva para estas arquitecturas complejas.

Resultados Experimentales

Evaluado en el benchmark COCO:

• Rendimiento de Profundidad Completa: Las configuraciones de la super-red igualan o superan sus respectivas líneas base de última generación (SOTA) con una sobrecarga de parámetros insignificante (por ejemplo, <0.09% para RT-DETR, ~3% para YOLOv12).
• Ganancias de Eficiencia:
  • AnyDepth-DETR (R-101): Logra una aceleración de 1.82× al costo de una caída de solo 2.0 AP en comparación con el modelo completo.
  • AnyDepth-YOLO (L): Logra una aceleración de 1.57× con una caída de solo 1.8 AP.
• Generalización: Las subredes intermedias (combinando caminos esenciales y completos) se generalizan bien sin supervisión directa, ofreciendo compensaciones suaves. Por ejemplo, reducir la profundidad del codificador en AnyDepth-DETR intercambia 0.9 AP por una ganancia del 6% en FPS, mientras que enrutar todas las etapas del backbone a través del camino esencial cuesta 2.0 AP por una mejora del 15% en FPS.
• Frontera de Pareto: Un único modelo AnyDepth cubre el rango de precisión-eficiencia que anteriormente requería múltiples modelos estáticos entrenados por separado (por ejemplo, cubriendo el rango de RT-DETR R-18 a R-101 con una sola red).

Significado y Afirmaciones

El artículo afirma que AnyDepth proporciona una solución práctica para desplegar detectores bajo restricciones de recursos dinámicas, reemplazando la necesidad de múltiples detectores de tamaño fijo con una sola red modular. Al preservar la jerarquía completa de características multiescala en cada configuración de profundidad, el método supera las limitaciones de las técnicas anteriores de inferencia adaptativa en tareas de detección.

Los autores enfatizan que su enfoque habilita la detección de objetos en tiempo real verdaderamente adaptativa, donde las configuraciones de profundidad pueden seleccionarse en tiempo de ejecución según los presupuestos de recursos sin reentrenamiento. Señalan que el camino de refinamiento mejora principalmente la precisión de localización en lugar de la cobertura de detección, validando la modularidad del diseño.

Limitaciones Reconocidas:

1. El procedimiento de entrenamiento de auto-distilación requiere dos pasadas secuenciales hacia adelante-hacia atrás por iteración, duplicando efectivamente el tiempo de entrenamiento en comparación con los modelos estándar.
2. El marco actual selecciona la profundidad basándose en un presupuesto de recursos fijo en lugar de adaptarse a la dificultad de la entrada; integrar un mecanismo de enrutamiento ligero para la selección adaptativa a la entrada se identifica como trabajo futuro.