💻 computer science

Towards Sparsely Annotated Open-World Object Detection

Este artigo introduz o Detecção de Objetos de Mundo Aberto com Anotação Esparsa (SA-OWOD), uma nova tarefa que aborda a coocorrência de supervisão esparsa e categorias não vistas, e propõe o framework de Descoberta de Objetos de Perspectiva Dupla (DPOD) para resolver eficazmente sinais de supervisão ambíguos e melhorar a detecção de objetos tanto conhecidos quanto desconhecidos.

Autores originais: HeeJu Han, AJeong Kim, Jinsun Park

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: HeeJu Han, AJeong Kim, Jinsun Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer animais em uma floresta. Em uma sala de aula perfeita, você mostraria ao robô a foto de um cachorro, um gato e um pássaro, e circularia exatamente onde eles estão. O robô aprende facilmente porque tudo está rotulado. Mas no mundo real, as coisas são bagunçadas. Às vezes, você pode esquecer de circular um cachorro em uma foto porque estava com pressa (isso é chamado de anotação esparsa). Outras vezes, o robô pode ver uma criatura que nunca viu antes, como um ornitorrinco, e você nem sabe como chamá-la (este é o problema do mundo aberto).

Por muito tempo, cientistas tentaram resolver esses dois problemas separadamente. Um grupo ensinou robôs a adivinhar onde estavam os cachorros perdidos, assumindo que tudo na imagem era um animal conhecido. Outro grupo ensinou robôs a detectar novas criaturas desconhecidas, mas assumia que o robô tinha rótulos perfeitos para tudo o que ele já conhecia. O problema é que a vida real é uma mistura de ambos: você pode ter uma foto com um rótulo faltando para um cachorro conhecido e um ornitorrinco oculto. Se o robô não for ensinado a lidar com essa confusão, ele pode pensar que o cachorro não rotulado é uma nova criatura misteriosa, ou pode ignorar o ornitorrinco completamente. Este artigo aborda esse meio-termo específico e confuso.

Os pesquisadores, HeeJu Han, AJeong Kim e Jinsun Park, introduzem um novo desafio que chamam de Detecção de Objetos em Mundo Aberto com Anotação Esparsa (SA-OWOD). Pense nisso como um jogo de detetive onde o detetive tem uma foto borrada com algumas pistas faltando e algumas figuras estranhas e não identificáveis ao fundo. O objetivo é descobrir quais pontos borrados são realmente animais conhecidos que apenas foram perdidos pelo fotógrafo, e quais são criaturas novas e desconhecidas de verdade.

Para resolver isso, eles construíram um novo sistema chamado DPOD (Descoberta de Objetos de Perspectiva Dupla). Imagine o DPOD como um detetive com duas ferramentas especiais trabalhando juntas. A primeira ferramenta é o Módulo de Recuperação de Alvos Conhecidos (KTRM). Esta ferramenta age como um especialista em "dar uma segunda olhada". Ela escaneia a foto novamente, procurando por coisas que parecem com os animais que o robô já conhece (como cachorros), mesmo que a foto original não tenha um rótulo para eles. Ela diz: "Ei, aquela forma se parece exatamente com um cachorro que já vimos antes; vamos dar um rótulo para isso para não o ignorarmos". Isso ajuda o robô a parar de tratar cachorros ausentes como ruído de fundo.

A segunda ferramenta é o Gerador de Alvos de Dual-Discordância (DDTG). Esta ferramenta é um pouco mais cética. Ela olha para a foto de dois ângulos ligeiramente diferentes (ou "vistas"), de forma semelhante a como nossos dois olhos veem o mundo. Se o robô estiver confiante sobre um cachorro, ele concordará com a identidade do cachorro de ambos os ângulos. Mas se o robô vir uma criatura estranha e desconhecida, ele pode ficar confuso e dizer: "Isso é um pássaro? Ou um esquilo?" de um ângulo, e "Não, talvez um gato?" do outro. O DDTG detecta esses momentos de confusão. Ele diz: "Se o robô está discutindo consigo mesmo sobre o que esta coisa é, provavelmente é algo novo e desconhecido!". Isso ajuda o robô a encontrar as criaturas misteriosas sem ser enganado pelos rótulos ausentes.

Quando os pesquisadores testaram seu sistema, descobriram que ele funcionava muito melhor do que os métodos anteriores, especialmente quando os rótulos eram muito esparsos. Em seus experimentos, eles criaram um cenário "difícil" onde removeram cerca de metade dos rótulos das imagens de treinamento. Mesmo nesse cenário difícil, seu método foi capaz de encontrar 51,85% dos objetos desconhecidos (uma métrica chamada U-Recall), o que é um salto significativo em comparação com outros métodos de ponta que tiveram dificuldade em encontrar mais de 33% nas mesmas condições. Eles também mostraram que seu sistema não ficou confuso; manteve sua capacidade de encontrar os animais conhecidos (como cachorros e gatos) tão bem quanto antes, mantendo uma pontuação alta de 54,09 na detecção de conhecidos.

O artigo sugere que, ao usar essas duas ferramentas juntas — uma para recuperar os itens conhecidos perdidos e outra para detectar os itens desconhecidos confusos — o robô pode finalmente lidar com a situação bagunçada do mundo real, onde rótulos estão faltando e coisas novas aparecem ao mesmo tempo. Embora o sistema seja um grande passo à frente, os autores observam que ele ainda depende de algumas regras fixas para decidir o que conta como "confuso" ou "ausente", que podem precisar ser ajustadas para diferentes tipos de objetos no futuro. Mas, por enquanto, o DPOD oferece uma maneira promissora de ensinar robôs a ver o mundo mais como os humanos veem: com uma mistura de fatos conhecidos e curiosidade de mente aberta.

Resumo Técnico: Em Direção à Detecção de Objetos em Mundo Aberto com Anotações Escassas

1. Definição do Problema: Detecção de Objetos em Mundo Aberto com Anotações Escassas (SA-OWOD)

A detecção de objetos no mundo real enfrenta dois desafios simultâneos: supervisão incompleta (onde muitas instâncias de objetos não estão rotuladas devido aos custos de anotação) e condições de mundo aberto (onde categorias não vistas aparecem). Embora a Detecção de Objetos com Anotações Escassas (SAOD) e a Detecção de Objetos em Mundo Aberto (OWOD) tenham sido estudadas independentemente, elas falham quando essas condições coexistem.

Limitações da SAOD: Os métodos de SAOD existentes assumem um cenário de mundo fechado. Eles tratam regiões não rotuladas como anotações ausentes de classes conhecidas, suprimindo ou classificando erroneamente objetos verdadeiramente desconhecidos como fundo (background).
Limitações da OWOD: Os métodos de OWOD existentes assumem dados de treinamento densos e totalmente anotados. Sob anotações esparsas, objetos conhecidos não rotulados são tratados como desconhecidos ou fundo, borrando a fronteira de decisão entre classes conhecidas e desconhecidas e degradando a precisão da detecção para ambas.

Os autores introduzem o SA-OWOD, uma nova formulação de tarefa onde regiões não rotuladas em uma imagem podem corresponder a objetos conhecidos não rotulados (anotações ausentes) ou a objetos genuinamente desconhecidos. O desafio central é distinguir entre esses dois tipos de regiões não rotuladas indistinguíveis sem supervisão explícita.

2. Metodologia: Descoberta de Objetos de Dupla Perspectiva (DPOD)

Para abordar a ambiguidade das regiões não rotuladas, o artigo propõe o DPOD, um framework unificado composto por dois módulos complementares: o Módulo de Recuperação de Alvos Conhecidos (KTRM) e o Gerador de Alvos de Duplo Desacordo (DDTG).

A. Módulo de Recuperação de Alvos Conhecidos (KTRM)
O KTRM visa recuperar a supervisão para objetos conhecidos não rotulados e impor a separação de características entre categorias conhecidas e desconhecidas.

Recuperação de Pseudo-rótulos: Inspirado no Co-Student, o KTRM utiliza um framework professor-aluno com múltiplas visões aumentadas para gerar pseudo-rótulos confiáveis para objetos conhecidos não rotulados. Esses pseudo-rótulos são combinados com a verdade fundamental (ground truth) esparsa para compensar as anotações ausentes.
Separação de Características: Para evitar que objetos conhecidos não rotulados se sobreponham a instâncias desconhecidas no espaço de incorporação (embedding space), o KTRM emprega um objetivo de ganho condicional de localização de facilidade (Facility-Location). Esta perda incentiva as propostas conhecidas (tanto rotuladas quanto com pseudo-rótulos) a se afastarem de seus contrapartes desconhecidos mais próximos no espaço de características, estabilizando as fronteiras de decisão.

B. Gerador de Alvos de Duplo Desacordo (DDTG)
O DDTG identifica candidatos desconhecidos confiáveis explorando a instabilidade semântica através de diferentes visões.

Desacordo entre Visões (Cross-View Disagreement): O módulo gera duas visões da mesma imagem e projeta as propostas de objetos de uma visão de referência para a visão alvo para garantir o alinhamento geométrico. Em seguida, calcula a similaridade de cosseno entre os vetores de logit de classificação das duas visões.
Seleção de Candidatos: Propostas com altos escores de objetidade (objectness) mas baixa similaridade semântica (alto desacordo) entre as visões são selecionadas como candidatos desconhecidos. Isso aproveita a observação de que objetos desconhecidos frequentemente residem perto de fronteiras de decisão ambíguas, levando a predições instáveis sob perturbações de visão.
Função de Perda: O DDTG aplica perda de classificação a esses candidatos de desacordo e uma perda de separação para afastá-los das características conhecidas, reforçando a descoberta de novas classes.

Objetivo Geral: A perda total combina as perdas KTRM e DDTG, equilibrando a recuperação de objetos conhecidos e a descoberta de objetos desconhecidos.

3. Principais Contribuições

Formulação da Tarefa: Os autores são os primeiros a formular a tarefa SA-OWOD, abordando explicitamente a coocorrência de anotações esparsas e cenários de mundo aberto.
Framework Inovador (DPOD): Eles propõem um framework de dupla perspectiva que resolve a ambiguidade através de:
- Recuperação de anotações conhecidas ausentes via pseudo-rotulagem (KTRM).
- Identificação de objetos desconhecidos via inconsistência semântica entre visões (DDTG).
- Imposição de separação ao nível de características para estabilizar as fronteiras de decisão.
Benchmarks e Avaliação: O artigo constrói benchmarks de mundo aberto com anotações esparsas baseados em Pascal VOC e MS-COCO, definindo protocolos específicos (Easy, Hard, Coco50missp, Keep1, Extreme) para avaliar tanto a recuperação de objetos conhecidos quanto a descoberta de objetos desconhecidos.

4. Resultados Experimentais

Experimentos foram conduzidos nos benchmarks propostos utilizando um backbone Faster R-CNN. O método foi comparado com métodos de estado da arte em OWOD (RandBox, PROB, OrthogonalDet, CROWD) retreinados sob protocolos idênticos de anotação esparsa.

Desempenho: O DPOD supera consistentemente os métodos existentes em todos os níveis de esparsidade (de Easy a Extreme).
- Na configuração Hard, o DPOD melhorou o Recall de Desconhecidos (U-Recall) em 18,50 pontos percentuais em relação ao CROWD (51,85 vs 33,35) e 29,64 pontos percentuais em relação ao OrthogonalDet (51,85 vs 22,21) na Tarefa 2.
- Na configuração Extreme, a diferença no U-Recall em relação ao OrthogonalDet foi de 23,05 pontos percentuais (45,56 vs 22,51) na Tarefa 2.
Robustez: Enquanto outros métodos sofreram degradação significativa no U-Recall conforme a esparsidade da anotação aumentava, o DPOD manteve um alto desempenho. Por exemplo, na configuração Extreme, a degradação do U-Recall do DPOD em relação à configuração totalmente anotada foi de 17,31%, enquanto o OrthogonalDet caiu 43,84%.
Estudos de Ablação:
- Tanto o KTRM quanto o DDTG contribuem positivamente; o KTRM estabiliza principalmente a detecção de conhecidos (K-mAP), enquanto o DDTG melhora a descoberta de desconhecidos (U-Recall).
- A combinação de ambos os módulos produz os melhores resultados, confirmando sua natureza complementar.
- A análise de sensibilidade mostrou que limiares moderados de objetidade e sinais de desacordo semântico suficientemente diversos são críticos para o desempenho.

5. Significância e Limitações

Significância:
O artigo afirma que o SA-OWOD fornece um benchmark prático para detecção sob supervisão ambígua, preenchendo a lacuna entre a detecção de mundo aberto teórica e as restrições de anotação do mundo real. Ao modelar explicitamente a interação entre anotações conhecidas ausentes e categorias desconhecidas, o DPOD evita a classificação errônea de objetos conhecidos como desconhecidos e vice-versa, levando a uma detecção de mundo aberto mais robusta.

Limitações:
Os autores reconhecem que o DPOD atualmente depende de limiares fixos para objetidade ( $\tau_o$ ) e similaridade ( $\tau_s$ ). Em cenários de mundo aberto, as características dos objetos variam significamente entre tarefas (por exemplo, acessórios como gravatas costumam ter escores de objetidade mais baixos). Os autores observam que impor limiares fixos sob tais condições ruidosas é suboptimal e pode criar gargalos no aprendizado progressivo, sugerindo que limiares adaptativos à tarefa são uma direção promissora para trabalhos futuros.