Resumo Técnico: AnyDepth-DETR/-YOLO

Declaração do Problema

Os detectores de objetos modernos são tipicamente redes estáticas de profundidade fixa, otimizadas para um único ponto de operação. Essa rigidez exige o treinamento de modelos separados para diferentes cenários de implantação (por exemplo, orçamentos de recursos variáveis ou requisitos de latência), tornando difícil que uma única rede satisfaça demandas heterogêneas. Embora métodos de computação adaptativa, como saída antecipada (early exiting) e adaptação de largura, tenham se mostrado eficazes na classificação de imagens, eles transferem-se mal para a detecção de objetos. Diferentemente dos classificadores que produzem uma única saída global, os detectores dependem de um pipeline backbone-neck-head fortemente acoplado, baseado em características hierárquicas multiescala. Pular estágios ou podar canais de forma ingênua rompe essas dependências, degradando a qualidade das características e a precisão de localização. Trabalhos anteriores não alcançaram computação controlada por profundidade na detecção de objetos enquanto preservavam a hierarquia completa de características multiescala necessária para uma detecção robusta.

Metodologia

Os autores propõem o AnyDepth, um framework que permite que uma única rede abranja uma faixa contínua de compensações entre precisão e eficiência, controlando a profundidade da rede no momento da inferência sem re-treinamento. O princípio central de design é a modularidade por estágio: garantir que a saída de uma sub-rede mais leve seja intercambiável com a de uma sub-rede mais completa em cada limite de estágio.

1. Decomposição Arquitetural

Cada estágio tanto no backbone quanto no neck é dividido em dois caminhos:

• Caminho Essencial: Sempre executado, aprendendo a representação central de características na escala dada.
• Caminho de Refinamento: Pulpável, fornecendo refinamento adicional quando há computação extra disponível.

Essa decomposição preserva todos os estágios hierárquicos em cada configuração de profundidade, diferentemente da saída antecipada convencional que descarta estágios inteiros.

• Estágios Residuais (ex.: RT-DETR): O caminho de refinamento é puramente aditivo ($x_{full} = x_{ess} + \Delta$), compartilhando formas de tensores e evitando conflitos arquitetônicos.
• Estágios Estilo CSP (ex.: YOLO): Como a largura de concatenação depende do número de blocos executados, os autores introduzem uma camada de agregação comutável. Uma matriz de pesos dedicada é usada para o caminho essencial quando o caminho de refinamento é pulado, desacoplando completamente seu fluxo de gradiente do agregador do caminho completo para evitar gradientes conflitantes.
• Normalização em Lote Comutável: Blocos do caminho essencial utilizam duas camadas BN independentes (uma para execução do caminho completo, outra apenas para essencial) para ajustar as distribuições de saída adequadamente para cada modo, garantindo compatibilidade nos limites de estágio.

2. Estratégia de Treinamento: Auto-Distilação

A otimização conjunta de todas as sub-redes possíveis introduz sinais de gradiente conflitantes. Para abordar isso, o framework treina apenas os dois extremos:

• Super-rede: Executa todos os caminhos completos.
• Base-rede: Executa apenas os caminhos essenciais.

Estas são treinadas conjuntamente via auto-distilação, onde a super-rede atua como um professor online para a base-rede. A função de perda combina supervisão com dados reais (ground-truth) com perdas de distilação:

• Alinhamento no Nível de Previsão: Divergência KL para logits de classificação e perda IoU/edge para caixas de regressão.
• Alinhamento no Nível de Características: Uma perda explícita alinha os descritores de canal de Média Global Pooled (GAP) entre os caminhos essencial e completo em cada limite de estágio, impondo que os estágios a jusante recebam entradas compatíveis independentemente do caminho tomado.

Resolução de Conflitos de Atribuição de Alvo:
Um desafio crítico é que a super-rede e a base-rede podem atribuir diferentes âncoras/queries ao mesmo objeto ground-truth devido às suas previsões distintas.

• Para AnyDepth-DETR: Os autores reordenam as queries de primeiro plano da super-rede para alinhar com a ordenação correspondente aos alvos da base-rede antes de aplicar a Distilação de Conhecimento (KD).
• Para AnyDepth-YOLO: Atribuições de âncora conflitantes (onde a mesma âncora é atribuída a diferentes objetos GT pelas duas redes) são identificadas e excluídas do conjunto de distilação, restringindo a KD a alvos não ambíguos.

Contribuições Principais

1. Framework Any-Depth: Uma arquitetura e método de treinamento inovadores que permitem que um único modelo ajuste dinamicamente a profundidade na inferência, cobrindo um espectro contínuo de precisão-eficiência.
2. Modularidade por Estágio: Um princípio de design que garante compatibilidade de características entre configurações de profundidade, alcançado através da decomposição em caminhos essencial/refinamento e adaptações arquitetônicas específicas (agregação comutável e BN).
3. Auto-Distilação com Resolução de Conflitos: Uma estratégia de treinamento que otimiza apenas as sub-redes extremas enquanto impõe modularidade através do alinhamento de características e previsões, abordando especificamente as incompatibilidades de atribuição de alvos inerentes às famílias DETR e YOLO.
4. Primeira Aplicação em Detectores em Tempo Real SOTA: O framework é instanciado em RT-DETR e YOLOv12, demonstrando que a auto-distilação eficaz é alcançável para essas arquiteturas complexas.

Resultados Experimentais

Avaliado no benchmark COCO:

• Desempenho em Profundidade Completa: As configurações da super-rede igualam ou superam suas respectivas bases de estado da arte (SOTA) com sobrecarga de parâmetros negligenciável (por exemplo, <0,09% para RT-DETR, ~3% para YOLOv12).
• Ganhos de Eficiência:
  • AnyDepth-DETR (R-101): Alcança um acréscimo de velocidade de 1,82× ao custo de apenas 2,0 AP de queda em comparação com o modelo completo.
  • AnyDepth-YOLO (L): Alcança um acréscimo de velocidade de 1,57× com apenas 1,8 AP de queda.
• Generalização: Sub-redes intermediárias (misturando caminhos essenciais e completos) generalizam bem sem supervisão direta, oferecendo compensações suaves. Por exemplo, reduzir a profundidade do codificador no AnyDepth-DETR troca 0,9 AP por um ganho de 6% em FPS, enquanto rotear todos os estágios do backbone pelo caminho essencial custa 2,0 AP por uma melhoria de 15% em FPS.
• Fronteira de Pareto: Um único modelo AnyDepth cobre a faixa de precisão-eficiência que anteriormente exigia múltiplos modelos estáticos treinados separadamente (por exemplo, cobrindo a faixa de RT-DETR R-18 a R-101 com uma única rede).

Significado e Afirmações

O artigo afirma que o AnyDepth fornece uma solução prática para implantar detectores sob restrições de recursos dinâmicas, substituindo a necessidade de múltiplos detectores de tamanho fixo por uma única rede modular. Ao preservar a hierarquia completa de características multiescala em cada configuração de profundidade, o método supera as limitações de técnicas anteriores de inferência adaptativa em tarefas de detecção.

Os autores enfatizam que sua abordagem permite detecção de objetos em tempo real verdadeiramente adaptativa, onde as configurações de profundidade podem ser selecionadas em tempo de execução com base em orçamentos de recursos sem re-treinamento. Eles notam que o caminho de refinamento melhora principalmente a precisão de localização em vez da cobertura de detecção, validando a modularidade do design.

Limitações Reconhecidas:

1. O procedimento de treinamento de auto-distilação requer duas passagens sequenciais para frente e para trás por iteração, efetivamente dobrando o tempo de treinamento em comparação com modelos padrão.
2. O framework atual seleciona a profundidade com base em um orçamento de recursos fixo, em vez de adaptar-se à dificuldade da entrada; a integração de um mecanismo de roteamento leve para seleção adaptativa à entrada é identificada como trabalho futuro.