Visual Accommodation: Rethinking Image Scale as a Learnable Variable for Object Detection

Resumo Técnico: Ciliary-DETR

Enunciação do Problema
Redes modernas de detecção de objetos, particularmente aquelas baseadas na arquitetura DETR (DEtection TRansformer), tipicamente operam com uma resolução de entrada fixa durante a inferência. Embora a augmentação de dados multi-escala durante o treinamento melhore a robustez a variações de escala, a fase de inferência carece de adaptabilidade específica à amostra. Diferentemente do sistema visual humano, que ajusta dinamicamente a profundidade focal (acomodação) para manter uma percepção estável, os detectores atuais tratam a resolução da imagem como uma escolha de design estática, em vez de uma variável dinâmica e dependente dos dados. Métodos de escalonamento adaptativo existentes frequentemente dependem de arquiteturas multi-ramo, estratégias de múltiplas inferências ou conjuntos de resolução pré-definidos, o que prejudica a escalabilidade e a otimização de ponta a ponta. Além disso, a escala de entrada ótima para uma imagem específica é ineremente não observável e carece de supervisão explícita, tornando a otimização direta de escala mal-posta sob configurações de treinamento padrão.

Metodologia: Ciliary-DETR
Os autores propõem o Ciliary-DETR, um framework que trata a resolução da imagem como uma variável aprendível, análoga ao músculo ciliar biológico que ajusta a lente do olho. O método introduz um módulo leve de Preditor de Escala posicionado antes do backbone de detecção para estimar dinamicamente um fator de escala dependente da entrada ($\phi$).

• Arquitetura: O preditor de escala consiste em um backbone leve (ResNet-18) e uma cabeça de predição. Ele recebe uma imagem de entrada, faz o down-sampling para reduzir a sobrecarga computacional e produz um fator de escala escalar restrito a um intervalo desejado $[\tau_{min}, \tau_{max}]$. Este fator é utilizado para redimensionar a imagem via interpolação bilinear antes de ser passada para a rede de detecção (por exemplo, DN-DETR).
• Estratégia de Treinamento: O framework emprega um processo de treinamento em duas etapas, aproveitando uma filosofia de "supernet":
  1. Treinamento Multi-Escala (MS): A rede de detecção é inicialmente treinada com augmentação de dados MS para construir robustez contra variações de escala.
  2. Otimização Conjunta: O preditor de escala e a rede de detecção são treinados conjuntamente. Durante esta fase, o intervalo de resolução é variado (treinamento de sub-redes) para explorar compensações entre desempenho e eficiência, compartilhando pesos.
• Objetivos de Otimização: Para abordar a falta de rótulos de escalonamento ground-truth, os autores introduzem dois objetivos complementares, orientados por perda:
  1. Perda de Escala: Uma formulação probabilística baseada em Entropia Cruzada Binária (BCE). Ela modela a preferência por up-scaling ou down-scaling como uma função do tamanho do objeto, utilizando tamanhos de âncora ($A_{min}, A_{max}$) para definir regiões de saturação. Esta perda incentiva a rede a fazer up-scaling de objetos pequenos e down-scaling de objetos grandes para normalizar seus tamanhos efetivos.
  2. Perda de Distribuição: Esta perda alinha as decisões de escalonamento com o desempenho de detecção a jusante, sem supervisão explícita. Ela modela a relação entre a escala do objeto e a perda de detecção usando uma distribuição Beta aprendível. Ao minimizar a distância de Wasserstein de 1ª ordem entre esta distribuição paramétrica e uma distribuição de observação empírica (derivada das perdas de detecção), a rede aprende a ajustar os tamanhos de âncora ($A_{min}, A_{max}$) para corresponder às regiões sensíveis ao desempenho dos dados.

Principais Contribuições

1. Escala de Imagem Aprendível: O artigo propõe uma formulação inovadora onde a escala da imagem é tratada como uma variável diretamente aprendível, permitindo ajuste dinâmico e dependente dos dados da resolução em uma única passagem forward.
2. Otimização Orientada por Perda: Introduz um framework paramétrico e probabilístico para o comportamento de escalonamento que não requer anotações explícitas de escala. A combinação da Perda de Escala e da Perda de Distribuição permite uma adaptação estável e orientada por dados.
3. Raciocínio Multi-Escala em Passagem Única: O método preenche a lacuna entre robustez no tempo de treinamento (via augmentação MS) e adaptação no tempo de teste, alcançando raciocínio multi-escala eficaz sem a sobrecarga computacional de inferência multi-resolução explícita.
4. Modularidade e Compatibilidade: O framework é projetado para ser compatível com detectores modernos baseados em DETR, sem exigir modificações arquitetônicas no próprio pipeline de detecção, preservando a simplicidade da rede de detecção.

Resultados Experimentais
Experimentos extensivos nos conjuntos de dados MS COCO e LVIS demonstram a eficácia do Ciliary-DETR:

• Compensação Desempenho-Eficiência: Comparado a baselines fortes (por exemplo, DN-DETR-R50 e Swin-S), o Ciliary-DETR alcança ganhos consistentes de precisão (por exemplo, +1,3 AP no R50, +1,1 AP no Swin-S) enquanto reduz a complexidade computacional (GFLOPs) em aproximadamente 17–19%.
• Generalização Zero-Shot: O preditor de escala pode ser aplicado zero-shot a arquiteturas de detecção não vistas (por exemplo, Deformable-DETR, DINO-DETR, H-DETR), reduzindo os GFLOPs em 18–19% enquanto mantém ou melhora ligeiramente o AP.
• Comparação com TTA: O método supera a seleção aleatória de resolução e a augmentação ingênua multi-escala no tempo de teste (TTA). Alcança resultados próximos a uma busca exaustiva (BFS) pela resolução ótima (dentro de uma lacuna de 0,4–0,5 AP), mas o faz de maneira totalmente aprendível e em passagem única.
• Robustez: O modelo demonstra forte robustez em uma ampla gama de resoluções no tempo de teste, superando baselines de resolução fixa mesmo em resoluções fora do intervalo de treinamento.

Significado e Alegações
O artigo alega que o Ciliary-DETR oferece uma direção ortogonal à otimização arquitetônica tradicional, focando na adaptação no nível de entrada. Ao emular a acomodação visual biológica, o framework permite uma inferência flexível e eficiente em passagem única que se ajusta dinamicamente ao conteúdo de cada imagem. Os autores enfatizam que esta abordagem preenche a lacuna entre augmentação no tempo de treinamento e adaptação no tempo de teste, permitindo implantação escalável sem prejudicar a modularidade dos pipelines de detecção modernos. O trabalho sugere que tratar a resolução como uma variável aprendível é uma estratégia viável e eficaz para melhorar tanto a precisão quanto a eficiência dos sistemas de detecção de objetos.