Resumo Técnico: RF-DETR: Busca de Arquitetura Neural para Transformers de Detecção em Tempo Real

Declaração do Problema

Embora detectores de vocabulário aberto (ex: GroundingDINO, YOLO-World) alcancem um impressionante desempenho zero-shot em benchmarks padrão como o COCO, eles frequentemente falham ao generalizar para conjuntos de dados do mundo real que contêm classes fora da distribuição ou modalidades de imagem não presentes em seu pré-treinamento. Por outro lado, o ajuste fino (fine-tuning) de modelos de Visão-Linguagem (VLMs) pesados para domínios específicos melhora o desempenho no domínio, mas sacrifica a eficiência de execução devido aos grandes codificadores de texto.

Simultaneamente, detectores especialistas (de vocabulário fechado) de tempo real, como o D-FINE e o RT-DETR, oferecem inferência rápida, mas muitas vezes apresentam desempenho inferior comparado aos VLMs ajustados. Os autores observam que os detectores especialistas recentes são implicitamente sobre-otimizados para o benchmark COCO através de arquiteturas de modelos, esquemas de taxa de aprendizado e estratégias de aumento de dados customizados, o que leva a uma baixa generalização em distribuições de dados do mundo real (ex: variações no número de objetos, número de classes e tamanho de datasets). Além disso, o benchmarking de latência padrão em todo o campo sofre de alta variância e falta de reprodutibilidade, frequentemente atribuído ao estrangulamento de energia da GPU (power throttling) e protocolos de avaliação inconsistentes (ex: omitir o Non-Maximum Suppression ou usar diferentes níveis de quantização para precisão vs. latência).

Metodologia

O artigo apresenta o RF-DETR, uma família de transformers de detecção e segmentação de tempo real livres de agendadores (scheduler-free), que utilizam Busca de Arquitetura Neural de Compartilhamento de Pesos (Weight-Sharing NAS) para descobrir curvas Pareto de precisão-latência para qualquer conjunto de dados alvo sem necessidade de re-treinamento.

1. Arquitetura e Fundamentação

O RF-DETR moderniza a arquitetura LW-DETR ao:

• Substituição de Backbone: Trocar o backbone CAEv2 pelo DINOv2, aproveitando pesos pré-treinados em escala de internet para melhorar a generalização em pequenos conjuntos de dados.
• Treinamento Livre de Agendadores (Scheduler-Free): Evitar esquemas complexos de taxa de aprendizado e aumento de dados que enviesam os modelos para características específicas de datasets (ex: evitar inversões verticais agressivas que causam falsos positivos em domínios críticos de segurança).
• Segmentação de Instância: Adicionar um cabeçalho de segmentação leve que interpola bilinearmente as saídas do codificador para gerar mapas de incorporação de pixels, permitindo segmentação em tempo real de ponta a ponta (RF-DETR-Seg).

2. NAS de Compartilhamento de Pesos e "Botões de Ajuste" (Tunable Knobs)

Inspirado no OFA, o RF-DETR emprega uma abordagem de NAS de compartilhamento de pesos onde um único modelo base é treinado para suportar milhares de configurações de sub-redes. Durante o treinamento, o modelo amostra uniformemente configurações aleatórias. Na inferência, configurações específicas são selecionadas para atingir pontos de latência desejados. O espaço de busca inclui os seguintes "botões de ajuste":

• Tamanho do Patch: Interpolado entre tamanhos (ex: 8 a 32) usando transformações estilo FlexiVIT.
• Camadas do Decoder: A perda de regressão é aplicada a todas as camadas do decoder, permitendo que qualquer número de camadas seja descartado na inferência.
• Tokens de Query: As queries são descartadas no tempo de teste com base em scores de confiança para variar o número máximo de detecções.
• Resolução de Imagem: Embeddings posicionais são pré-alocados para a maior resolução e interpolados para entradas menores.
• Atenção em Janelas (Windowed Attention): O número de janelas por bloco de atenção é variado para equilibrar a mistura de informações globais e a eficiência computacional.

Esta abordagem atua como um regularizador ("aumento de arquitetura"), permitindo que o modelo generalize para arquiteturas e configurações não vistas explicitamente durante o treinamento.

3. Benchmarking de Latência Padronizado

Os autores identificam que o estrangulamento de energia da GPU durante a inferência causa variância significativa na latência relatada. Para resolver isso, propõem um protocolo de avaliação padronizado envolvendo:

• Buffering: Inserção de uma pausa de 200ms entre as passagens de forward para evitar o estrangulamento de energia e garantir medições estáveis.
• Consistência de Artefatos: Avaliar tanto a precisão quanto a latência usando o mesmo artefato do modelo (ex: FP32 ou FP16) para evitar discrepâncias causadas por quantização ingênua.
• Inclusão de NMS: Garantir que o Non-Maximum Suppression seja incluído nas medições de latência para uma comparação justa com detectores de ponta a ponta.

Principais Contribuições

1. Família de Modelos RF-DETR: Uma nova família de detectores e segmentadores de tempo real que superam os métodos estado da arte anteriores tanto no COCO quanto no diversificado benchmark RF100-VL. Notavelmente, o RF-DETR (2x-large) é o primeiro detector de tempo real a ultrapassar 60 AP no COCO.
2. NAS de Compartilhamento de Pesos para DETRs: A primeira aplicação de NAS de compartilhamento de pesos de ponta a ponta para detecção de objetos e segmentação, permitindo a descoberta de arquiteturas Pareto-ótimas para diversos hardwares e datasets a partir de uma única execução de treinamento.
3. Benchmarking Reprodutível: Uma crítica às práticas atuais de avaliação de latência e uma proposta de um procedimento padronizado (buffering, artefatos consistentes) para melhorar a reprodutibilidade e a comparação justa.

Resultados Experimentais

Benchmark COCO

• RF-DETR (Nano): Alcança 48.0 AP no COCO, superando o D-FINE (Nano) em 5.3 AP com latência similar (~2.3ms).
• RF-DETR (2x-large): Alcança 60.1 AP no COCO, estabelecendo um novo recorde para detectores de tempo real.
• Segmentação: O RF-DETR-Seg (Nano) supera o YOLOv11-Seg (X-Large) sendo 4x mais rápido e vence o FastInst em 5.4% AP com quase 10x mais velocidade.

Benchmark RF100-VL (Generalização no Mundo Real)

• RF-DETR (2x-large): Supera o GroundingDINO (Tiny) e o LLMDet (Tiny) em 1.2 AP enquanto roda 20x mais rápido.
• Generalização: Ao contrário das variantes YOLO que estagnam ou degradam quando escalonadas, o RF-DETR mostra melhorias consistentes com backbones maiores (DINOv2-B) e mantém um forte desempenho através dos 100 diversos datasets no RF100-VL.
• Ajuste Fino (Fine-Tuning): Embora o ajuste fino do RF-DETR no COCO gere ganhos limitados (devido à forte regularização do NAS), o ajuste fino no RF100-VL fornece melhorias modestas, sugerindo que o "aumento de arquitetura" do NAS requer mais épocas para convergir em datasets menores e diversos.

Estudos de Ablação

• Backbone: Substituir o CAEv2 pelo DINOv2 melhora o desempenho em ~2%.
• Hiperparâmetros: O uso de hiperparâmetros mais "suaves" (taxa de aprendizado menor, LayerNorm em vez de BatchNorm) é necessário para preservar o conhecimento pré-treinado do DINOv2 e permitir o treinamento em hardware de consumo.
• Arquitetura Fixa: Transferir uma arquitetura RF-DETR otimizada para o COCO para o RF100-VL sem realizar uma nova busca ainda supera o LW-DETR, mas o NAS específico do dataset gera ganhos significativos adicionais.

Significância e Alegações

O artigo afirma que o RF-DETR representa uma mudança do design manual de arquiteturas para benchmarks específicos para a descoberta de arquiteturas que generalizam através de diversos distribuições do mundo real. Ao combinar pré-treinamento em escala de internet (DINOv2) com NAS de compartilhamento de pesos, o RF-DETR alcança desempenho estado da arte sem o custo computacional de re-treinar para cada novo alvo de hardware ou tamanho de dataset.

Os autores enfatizam que os detectores especialistas atuais podem estar sobre-otimizados para o COCO, e que a comunidade deve realizar benchmarks em datasets diversos como o RF100-VL para evitar o overfitting implícito. Além disso, o artigo afirma que a falta de reprodutibilidade no benchmarking de latência é um problema crítico que deve ser abordado através de protocolos padronizados (buffering, artefatos consistentes) para permitir a comparação justa de modelos de tempo real.

Pelo que os autores sabem, o RF-DETR é o primeiro detector de tempo real a exceder 60 AP no COCO, demonstrando que transformers de ponta a ponta podem alcançar tanto alta precisão quanto inferência em tempo real quando devidamente otimizados via NAS.