Simple Supervision Is Hard to Beat: A Bitter Lesson from Sparse Target Labels in Domain-Adaptive Object Detection

Resumo Técnico: Supervisão Simples é Difícil de Ser Superada

Definição do Problema
A detecção de objetos com adaptação de domínio livre de fonte (SFDA-OD, na sigla em inglês) visa adaptar um detector treinado em um domínio de origem rotulado para um domínio de destino não rotulado, sem acessar os dados de origem. Os métodos atuais de estado da arte para SFDA-OD dependem fortemente de frameworks de auto-treinamento professor-aluno (teacher-student), onde um modelo professor gera pseudo-rótulos para imagens não rotuladas do destino para supervisionar um modelo aluno. No entanto, esta abordagem sofre de um gargalo: sob mudanças de domínio, os pseudo-rótulos frequentemente contêm falsos positivos, perdem objetos difíceis (falsos negativos) e fornecem sinais de otimização instáveis.

Enquanto a Adaptação de Domínio Ativa (ADA) estuda como selecionar as amostras mais informativas para anotação, este artigo investiga um protocolo mais simples e controlado: qual é a maneira ideal de utilizar um subconjunto pequeno e aleatório de imagens rotuladas do destino? Os autores isolam a questão da utilização de rótulos da seleção de rótulos, perguntando se anotações esparsas do destino podem melhorar os métodos de SFDA-OD existentes além de seu uso direto como exemplos supervisionados.

Metodologia
O artigo propõe um método de linha de base chamado Mistura de Alvo Aleatório Supervisionado (RTSM) e avalia sistematicamente dez "plugins de feedback de rótulos esparsos" projetados para direcionar o ramo de auto-treinamento não rotulado usando as mesmas anotações.

1. A Âncora (RTSM):
   O RTSM trata o subconjunto aleatoriamente rotulado do destino como dados normais de treinamento supervisionado. Ele adiciona uma perda de detecção supervisionada padrão nessas imagens rotuladas, mantendo o ramo original de auto-treinamento de SFDA-OD (perda não rotulada, atualizações professor-aluno e geração de pseudo-rótulos) completamente inalterado. Isso serve como uma linha de base forte e simples para medir o benefício direto da supervisão esparsa.

2. Plugins de Feedback:
   Os autores avaliam dez plugins modulares que tentam usar os mesmos rótulos esparsos para melhorar o ramo não rotulado. Estes são categorizados em três pontos de intervenção no pipeline do Mean Teacher:

   • Seleção de Pseudo-Rótulo (Orientado à Precisão): Estes plugins ajustam como os candidatos do professor são convertidos em pseudo-rótulos.
     • Limiar Mapeado por Prioridade (Prior-Mapped Thresholding): Ajusta limiares de confiança específicos por classe com base na discrepância entre os priors de classe de verdade fundamental (ground-truth) esparsos e os priors de pseudo-rótulos de base.
     • Limiar Calibrado por Precisão (Precision-Calibrated Thresholding): Seleciona limiares que maximizam a retenção de candidatos corretos enquanto atendem a um alvo de precisão empírica no conjunto esparso.
     • Reescalonamento de Pontuação de Confiabilidade (Reliability Score Rescaling): Suprime pontuações de confiança para classes onde os pseudo-rótulos de base apresentam baixa precisão no conjunto esparso.
   • Complementação de Objetos (Orientado ao Recall): Estes plugins tentam recuperar objetos perdidos pelo gerador de pseudo-rótulos de base.
     • Recuperação de Query Difícil (Hard Query Recovery): Treina um classificador binário nas imagens esparsas para identificar candidatos rejeitados que correspondem a objetos de verdade fundamental perdidos, inserindo-os no conjunto de pseudo-rótulos.
     • Recuperação Difícil Multi-Visão (Multi-View Hard Recovery): Melhora a Recuperação de Query Difícil com sinais de consistência entre múltiplas visões.
     • Revitalização de Query de Primeiro Plano (Foreground Query Revival): Usa candidatos recuperados como supervisão fraca (encorajando a "presença de primeiro plano") em vez de pseudo-rótulos rígidos para evitar a propagação de erros de localização/classe.
     • Revitalização de Primeiro Plano Multi-Visão (Multi-View Foreground Revival): Combina a recuperação multi-visão com a perda de supervisão fraca.
   • Controle de Otimização: Estes plugins regulam a dinâmica de treinamento entre os rótulos esparsos confiáveis e os pseudo-rótulos ruidosos.
     • Balanceamento de Perda Esparsa (Sparse Loss Balancing): Ajusta dinamicamente o peso da perda não rotulada em relação à perda supervisionada com base em suas magnitudes.
     • PCGrad Ancorado no Alvo (Target-Anchored PCGrad): Projeta o gradiente do pseudo-rótulo para remover componentes que conflitam com o gradiente supervisionado esparso.
     • Atualização do Professor Guiada por Rótulos (Label-Guided Teacher Update): Usa a supervisão esparsa para identificar grupos de parâmetros que devem atualizar mais rapidamente (maior momento EMA) no modelo professor.

Configuração Experimental
A avaliação abrange quatro métodos de SFDA-OD (PETS, LPU, LPLD, DDT), dois detectores baseados em transformer (DINO, DETA) e duas tarefas de adaptação (Cityscapes $\to$ Foggy Cityscapes e Cityscapes $\to$ BDD100K). Os experimentos são conduzidos com orçamentos de rótulos esparsos de 1%, 5% e 10% do conjunto de treinamento do destino.

Principais Resultados

1. RTSM é Altamente Eficaz: Em todas as configurações, o RTSM melhora consistentemente os baselines de SFDA puro por uma margem significativa, variando de 1.7 a 18.3 AP50. Isso confirma que simplesmente misturar um pequeno subconjunto aleatório de rótulos do destino na perda supervisionada é um sinal de adaptação poderoso.
2. Plugins de Feedback são Não Confiáveis: Nenhum dos dez plugins supera consistentemente o RTSM.
   • Os ganhos de desempenho são dependentes do método: Um plugin que melhora um método de SFDA (ex: PETS) frequentemente degrada outro (ex: LPLD).
   • O desempenho é inconsistente entre categorias: Melhorias em classes de objetos específicas são frequentemente compensadas por degradações em outras.
   • Retornos Decrescentes: À medida que o orçamento de rótulos aumenta (de 1% para 10%), o benefício marginal dos plugins sobre o RTSM diminui, muitas vezes tornando-se negativo. Em orçamentos mais altos, a supervisão direta captura a maior parte do sinal disponível, deixando pouco espaço para mecanismos de feedback ruidosos agregarem valor.
3. Não Há um Vencedor Universal: Não existe uma única estratégia de plugin (seleção, complementação ou controle) que sirva como uma melhoria robusta e de propósito geral sobre a âncora simples do RTSM.

Significância e Alegações
O artigo entrega uma "lição amarga" para o campo do SFDA-OD com rótulos esparsos: a supervisão simples é difícil de ser superada.

• RTSM como uma Linha de Base Necessária: Os autores argumentam que o RTSM deve servir como a âncora mínima e necessária para trabalhos futuros. Qualquer método proposto que utilize rótulos esparsos deve demonstrar ganhos além do RTSM, não apenas sobre o SFDA puro, para provar uma utilização eficaz de rótulos.
• Limitações de Feedback Complexo: O estudo revela que usar rótulos esparsos para calibrar pseudo-rótulos, recuperar objetos perdidos ou regular a dinâmica de otimização produz resultados fragmentados e instáveis. A complexidade desses mecanismos de feedback não se traduz em melhorias de desempenho consistentes.
• Escopo: As descobertas são específicas para detecção de objetos baseada em transformer sob adaptação de domínio livre de fonte. Os autores observam modestamente que trabalhos futuros são necessários para determinar se esse padrão se estende a outras famílias de detectores ou tarefas de visão.

Em conclusão, o artigo sugere que, para o SFDA-OD com rótulos esparsos, a estratégia mais eficaz é frequentemente a mais simples: incorporar diretamente os rótulos disponíveis do destino na perda supervisionada, em vez de tentar usá-los para projetar loops de feedback complexos para o ramo de auto-treinamento não rotulado.