Partial Weakly-Supervised Oriented Object Detection

Este artigo propõe o primeiro framework de Detecção de Objetos Orientados Parcialmente Fracamente Supervisionado (PWOOD), que utiliza anotações fracas parciais e dados não rotulados para reduzir custos e superar algoritmos existentes, introduzindo um modelo estudante consciente de orientação e escala e uma estratégia de filtragem de pseudo-rótulos.

O essencial

Imagine que você é um detetive tentando encontrar objetos específicos em milhares de fotos de satélite (como navios, aviões ou carros). O problema é que, para treinar seu "olho" de detetive (a Inteligência Artificial), você precisa desenhar caixas ao redor de cada objeto.

Aqui está o grande dilema:

1. O Método Tradicional (Supervisão Total): Você desenha uma caixa rotacionada e perfeita ao redor de cada objeto. É o mais preciso, mas é como desenhar à mão livre em um papel: demorado, caro e cansativo.
2. O Método Fraco (Supervisão Fraca): Você desenha apenas uma caixa reta (horizontal) ou até mesmo apenas um ponto no objeto. É rápido e barato, mas a IA fica confusa: "Será que o navio está virado para o norte ou para o leste? Qual o tamanho exato?".

A maioria das IAs atuais precisa de muito dinheiro (anotação cara) ou de muito tempo (anotação lenta) para funcionar bem.

A Solução: O Projeto PWOOD (O "Estagiário Esperto")

Os autores deste artigo criaram uma nova abordagem chamada PWOOD. Eles pensaram: "E se usarmos o melhor dos dois mundos? Usamos algumas anotações baratas (caixas retas ou pontos) e misturamos com um monte de fotos que não têm nenhuma anotação?"

Para fazer isso funcionar, eles criaram três "truques de mágica":

1. O Mestre e o Estagiário (Teacher-Student)

Imagine um Mestre (uma IA experiente) e um Estagiário (a IA que está aprendendo).

• O Mestre olha para as fotos que não têm anotação nenhuma e tenta adivinhar onde estão os objetos. Ele cria "rascunhos" (chamados de pseudo-rótulos).
• O Estagiário aprende com esses rascunhos do Mestre, além de estudar as poucas fotos que têm anotações baratas.
• Depois, o Estagiário fica tão bom que atualiza o Mestre. É um ciclo de aprendizado contínuo.

2. O Estagiário Consciente (OS-Student)

O problema é que, se o Mestre só vê caixas retas, ele não sabe ensinar o Estagiário a girar a caixa corretamente.

• O Truque de Espelho (Orientação): Eles ensinam o Estagiário a olhar para a foto de cabeça para baixo ou girada. Se o Mestre diz "é um navio", o Estagiário aprende que, mesmo girado, o navio continua sendo um navio. Assim, ele aprende a direção (orientação) sem precisar de anotações giradas.
• O Truque de Tamanho (Escala): Se o Mestre só vê um ponto, como ele sabe o tamanho do objeto? Eles usam um mapa de "vizinhança" (como um mapa de calor) para estimar o tamanho máximo e mínimo possível do objeto. Assim, o Estagiário aprende a estimar o tamanho mesmo vendo apenas um ponto.

3. O Filtro Inteligente (CPF)

Aqui está o maior problema: às vezes, o Mestre comete erros e marca coisas erradas como objetos. Se o Estagiário aprender com esses erros, ele fica ruim.

• O Filtro Antigo: Usava uma régua fixa. "Se a confiança for maior que 0,5, aceito. Se for 0,49, rejeito." O problema é que essa régua não se adapta. No começo, o Mestre é ruim e precisa de uma régua mais flexível; no final, ele é ótimo e precisa de uma régua mais rígida.
• O Filtro PWOOD (CPF): Em vez de uma régua fixa, eles usam um detector de mentiras dinâmico. Ele analisa a "personalidade" das respostas do Mestre naquele momento. Se o Mestre está confuso, o filtro é mais gentil; se ele está confiante, o filtro é rigoroso. Isso evita que o Estagiário aprenda com erros bobos.

O Resultado na Prática

Os pesquisadores testaram isso em grandes bancos de dados de imagens (como DOTA e DIOR).

• Comparação: Eles usaram apenas 20% de anotações baratas (caixas retas) + 80% de fotos sem anotação.
• O Milagre: O resultado foi tão bom quanto (ou até melhor que) usar 100% de anotações caras (caixas giradas perfeitas).

Resumo em uma Analogia Final

Pense em aprender a cozinhar:

• Método Antigo: Você paga um chef de cozinha para escrever receitas perfeitas para 1.000 pratos. (Caro e lento).
• Método Fraco: Você pega um livro de receitas com apenas "ingredientes" listados, sem medidas ou tempo. (Barato, mas difícil de aprender).
• PWOOD: Você pega um livro com poucas receitas completas e muitas fotos de pratos prontos. Você tem um Mestre que tenta adivinhar as receitas das fotos. Você tem um Estagiário que aprende com as fotos e as poucas receitas. E você tem um Filtro que garante que o Mestre não esteja alucinando quando a cozinha está bagunçada.

Conclusão: O PWOOD permite que as IAs aprendam a detectar objetos girados com muito menos dinheiro e esforço humano, tornando a tecnologia acessível para mais pessoas e empresas.

Resumo técnico

Título: Detecção de Objetos Orientados Parcialmente Supervisionada (PWOOD)

1. O Problema

A detecção de objetos orientados (Oriented Object Detection - OOD) é crucial em diversas aplicações (como visão aérea e satelital), onde os objetos possuem rotações arbitrárias. No entanto, o principal gargalo para o avanço dessa tecnologia é o alto custo de anotação.

• Anotação Completa (Supervisionada Total): Requer caixas delimitadoras rotacionadas (OBB - Rotated Bounding Boxes), que são extremamente trabalhosas e caras de produzir manualmente.
• Anotação Fraca (Weakly Supervised): Métodos existentes usam caixas horizontais (HBox) ou pontos únicos. Embora mais baratos, eles perdem informações críticas de orientação e escala, limitando a precisão.
• Aprendizado Semi-supervisionado (SOOD): Utiliza uma pequena quantidade de dados rotulados e muitos não rotulados, mas geralmente ainda depende de anotações OBB caras para o conjunto rotulado.

O artigo identifica a necessidade de um paradigma que combine o baixo custo de anotações fracas (parciais) com a eficiência do uso de dados não rotulados, sem sacrificar a precisão da detecção orientada.

2. Metodologia Proposta: PWOOD

Os autores propõem o PWOOD (Partial Weakly-Supervised Oriented Object Detection), um framework baseado no paradigma Teacher-Student (Professor-Aluno) que utiliza apenas um subconjunto de dados com anotações fracas (caixas horizontais ou pontos únicos) e aproveita massivamente dados não rotulados.

O framework é composto por três pilares principais:

A. Modelo Aluno Consciente de Orientação e Escala (OS-Student)
Para superar a falta de informações de rotação e escala nas anotações fracas, o modelo aluno é equipado com dois módulos de aprendizado específicos:

1. Aprendizado de Orientação (Symmetry-aware Orientation Learning): Utiliza transformações de imagem (viragem vertical e rotação aleatória) para criar pares de dados auto-supervisionados. O modelo aprende que a previsão na imagem original e na imagem transformada deve manter uma relação determinística, permitindo inferir o ângulo correto mesmo com anotações de caixas horizontais.
2. Aprendizado de Escala (Self-supervised Scale Learning): Projetado para lidar com anotações ainda mais fracas (como pontos únicos).
   • Limite Superior: Usa coeficientes de sobreposição de distribuições Gaussianas (Coeficiente de Bhattacharyya) para estimar limites superiores de escala.
   • Limite Inferior: Utiliza diagramas de Voronoi e o algoritmo Watershed para segmentar regiões de objetos a partir de pontos, estimando limites inferiores de largura e altura.

B. Filtragem de Pseudo-rótulos Agnóstica à Classe (CPF - Class-Agnostic Pseudo-Label Filtering)
Um problema comum no aprendizado semi-supervisionado é a dependência de limites estáticos (thresholds) para selecionar pseudo-rótulos gerados pelo professor. Isso causa inconsistência, pois a confiança do modelo muda durante o treinamento.

• Solução: O CPF modela as pontuações de confiança dos pseudo-rótulos como uma Mistura de Gaussianas (uma para positivos, outra para negativos).
• Mecanismo: Utiliza o algoritmo Expectation-Maximization (EM) para calcular dinamicamente o limiar de decisão ótimo ($T_d$) a cada etapa, adaptando-se à distribuição atual dos dados. Isso torna o processo mais robusto e menos sensível a configurações manuais.

C. Fluxo de Treinamento

1. Pré-treinamento: O modelo OS-Student é treinado apenas com os dados fracamente anotados (parciais).
2. Fase Burn-in: Os pesos do aluno são copiados para o modelo Professor.
3. Treinamento Semi-supervisionado: O Professor gera pseudo-rótulos para os dados não rotulados. O CPF filtra esses rótulos. O Aluno é treinado com os dados fracamente rotulados e os pseudo-rótulos de alta qualidade, atualizando os pesos do Professor via Exponential Moving Average (EMA).

3. Principais Contribuições

1. Primeiro Framework PWOOD: Propõe o primeiro framework de detecção orientada que utiliza anotações fracas parciais (caixas horizontais ou pontos) combinadas com dados não rotulados, alcançando desempenho competitivo com custos drasticamente reduzidos.
2. OS-Student: Introduz mecanismos inovadores para que o modelo aprenda orientação e escala a partir de dados que não possuem essas informações explicitamente.
3. CPF (Filtragem Dinâmica): Desenvolve uma estratégia de filtragem de pseudo-rótulos baseada em Mistura de Gaussianas que elimina a sensibilidade a limiares estáticos, melhorando a robustez e a generalização.
4. Generalização: O framework é validado em diferentes formas de anotação (HBox e Pontos) e demonstra capacidade de reduzir a lacuna de desempenho entre diferentes tipos de anotação.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados DOTA-v1.0/v1.5/v2.0 e DIOR.

• Desempenho vs. Semi-supervisionado (SOOD): O PWOOD, usando apenas 20% de caixas horizontais e 80% de dados não rotulados, alcançou um mAP de 71.74% no DOTA-v1.0. Isso é comparável ou superior a métodos semi-supervisionados que usam 20% de caixas rotacionadas (OBB) caras (que atingiram ~62.82% em configurações similares de baseline).
• Desempenho vs. Supervisão Fraca (WOOD): O PWOOD superou significativamente os métodos puramente supervisionados fracos (como H2RBox-v2 e Point2RBox-v2). No DOTA-v1.5, com 20% de anotações, o PWOOD superou o H2RBox-v2 em 10.35% de mAP.
• Robustez a Ruído: Em testes com ruído adicionado às anotações, o PWOOD demonstrou ser mais robusto que os métodos de estado da arte, sofrendo menos degradação de desempenho.
• Custo-Benefício: O framework oferece uma solução de baixo custo que rivaliza com métodos que exigem anotações OBB completas, reduzindo drasticamente o tempo e o dinheiro necessários para a criação de datasets.

5. Significância e Impacto

O trabalho PWOOD representa um avanço significativo na viabilidade prática da detecção de objetos orientados. Ao demonstrar que é possível alcançar alta precisão utilizando anotações fracas parciais e dados não rotulados, o método:

• Democratiza o acesso: Permite que pesquisadores e indústrias com orçamentos limitados para anotação desenvolvam modelos de alta performance.
• Escalabilidade: Facilita a aplicação de OOD em grandes volumes de imagens (como imagens de satélite) onde a anotação manual de caixas rotacionadas é inviável.
• Inovação Técnica: A combinação de aprendizado de orientação/escala auto-supervisionado com filtragem dinâmica de pseudo-rótulos estabelece novas direções para o aprendizado semi-supervisionado em visão computacional.

Em resumo, o PWOOD resolve o dilema entre custo de anotação e precisão, provando que a inteligência artificial pode aprender a detectar objetos complexos e rotacionados com muito menos supervisão humana do que o tradicionalmente exigido.