Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation

Resumo Técnico: Sinais de Confiança de Detectores Indicam Presença em vez de Oclusão em Manipulação com Desordem

Declaração do Problema
Na percepção ativa e manipulação robótica, detectores de vocabulário aberto são amplamente utilizados para determinar se um objeto nomeado está presente e visível em uma cena. Os sistemas frequentemente dependem da pontuação de confiança do detector como um substituto (proxy) para a visibilidade real do alvo para tomar decisões críticas, como filtrar detecções, fundamentar linguagem, recuperar instâncias ou controlar a percepção ativa (por exemplo, decidir se deve mover uma câmera para revelar um objeto oculto). Este artigo desafia a suposição fundamental de que a confiança do detector rastreia a visibilidade real de um alvo específico. Os autores postulam que, em ambientes com desordem (clutter), pontuações de confiança altas podem indicar a presença da categoria do objeto em algum lugar da visão, em vez da visibilidade da instância específica do alvo, particularmente quando o alvo está ocluído por distratores da mesma categoria.

Metodologia: A Auditoria do Oráculo de Geometria
Para testar rigorosamente essa suposição, os autores propõem uma "auditoria de oráculo de geometria", uma estrutura de diagnóstico livre de detectores.

• Oráculo de Verdade Fundamental (Ground Truth): Em vez de depender das saídas do detector, o método utiliza um oráculo de segmentação geométrica derivado da estrutura 3D da cena. Este oráculo calcula a visibilidade real ($V$) de um objeto alvo contando o número de pixels visíveis em uma renderização de segmentação, independentemente de qualquer detector.
• Configuração Experimental: As cenas são geradas no simulador LIBERO (e replicadas no ManiSkill 3 e vídeos reais do DAVIS-2017). Um objeto alvo é colocado no centro, cercado por $k$ objetos distratores. Dois layouts são testados:
  • Layout Frontal: Os distratores formam uma parede entre a câmera e o alvo, ocluindo progressivamente o alvo à medida que $k$ aumenta.
  • Layout em Anel: Os distratores cercam o alvo simetricamente, mantendo o alvo totalmente visível, mas aumentando a densidade da desordem.
• Comparação: Para cada visualização (visualizações padrão fixas e candidatas ativas), o sistema compara a visibilidade real do oráculo ($V$) contra a pontuação de confiança ($c$) e a região prevista ($r$) do detector de vocabulário aberto.
• Detectores Avaliados: O estudo audita o Grounding DINO (tiny e base), OWLv2 e o Segment Anything Model 3 (SAM 3).
• Métricas: O estudo mede a correlação entre confiança e visibilidade real, a fração de cenas onde o detector reporta o alvo como "resolvido" (confiança > limiar) apesar da oclusão e a Interseção sobre União (IoU) entre a região prevista e a máscara real do alvo.

Principais Contribuições

1. Auditoria de Oráculo de Geometria: Introdução de uma ferramenta de diagnóstico livre de detectores que permite aos pesquisadores medir se a confiança de um detector de vocabulário aberto rastreia a visibilidade real do objeto comparando-a com a segmentação de verdade fundamental.
2. Documentação do Desacoplamento: Evidência empírica mostrando que a confiança do detector é amplamente não correlacionada com a visibilidade real em cenários ocluídos. O detector frequentemente reporta um alvo oculto como "presente" com alta confiança porque detecta distratores da mesma categoria.
3. Quantificação de Custos Sistêmicos: Demonstração de que confiar em sinais de confiança leva a dois fracassos específicos:
   • Subestimação da Percepção Ativa: Métricas baseadas em confiança subestimam o valor de mover uma câmera para resolver a oclusão por um fator de aproximadamente dez (ex: um ganho de 8 pontos em confiança vs. um ganho de 88 pontos em visibilidade real).
   • Falha no Controle (Gating): Portões baseados em confiança falham em disparar o movimento da câmera quando o objeto está oculto, pois o detector permanece confiante devido aos distratores.
4. Generalização: O fracasso é demonstrado em três arquiteturas de detectores diferentes, nove categorias de objetos, dois simuladores distintos com renderizadores diferentes e vídeos do mundo real.

Resultados Experimentais

• Desacoplamento de Confiança e Visibilidade: À medida que a visibilidade real cai de 100% para 12% (no layout frontal com 12 distratores), a confiança média do Grounding DINO permanece quase constante (0,40) e a taxa de "resolução" permanece acima de 90%. A correlação entre confiança e visibilidade é próxima de zero.
• Erro de Localização: Sob oclusão pesada, 88% das detecções confiantes recaem sobre distratores da mesma categoria em vez do alvo ocluído. O detector sinaliza a presença da categoria, não a visibilidade do alvo.
• Falha de Sinais de Visualização Única: Nenhum sinal de visualização única (incluindo confiança ou uma verificação de localização usando posições rastreadas) sinaliza a oclusão de forma confiável. Isso ocorre porque os ocluidores situam-se exatamente onde o alvo deveria estar, tornando uma detecção em um ocluidor espacialmente indistinguível de uma detecção no alvo em uma única visualização.
• Valor da Percepção Ativa: Enquanto o oráculo mostra que mover a câmera recupera a visibilidade em quase 100% das cenas ocluídas (um benefício de 88 pontos), as métricas baseadas em confiança sugerem um benefício negligível (3–8 pontos), levando os sistemas a concluir incorretamente que a percepção ativa é desnecessária.
• Artefato do Layout em Anel: Em layouts em anel onde o alvo nunca é ocluído, a confiança do detector cai conforme a desordem aumenta. Isso indica que os benchmarks padrão usando layouts em anel medem a sensibilidade à desordem, não à oclusão, confundindo ainda mais a avaliação.
• Impacto no Fluxo de Trabalho (Downstream): Em uma tarefa de preensão (grasping), um "portão de confiança" (permanecer parado se a confiança for alta) falha em localizar o alvo em 95% das cenas ocluídas. Uma estratégia de "mover e verificar" eleva a localizabilidade para 100%, embora erros residuais de profundidade causados pela oclusão ainda impeçam a preensão bem-sucedida em muitos casos.

Significância e Alegações
O artigo afirma que a prática generalizada de usar a confiança de um detector de vocabulário aberto como um sinal de visibilidade é fundamentalmente falha em tarefas de manipulação com desordem. Os autores argumentam que esse desacoplamento não é um pequeno problema de calibração, mas uma falha estrutural onde os detectores alucinam a presença de um alvo específico ao detectar objetos semelhantes próximos.

A significância deste trabalho reside em:

1. Correção da Avaliação: Alerta que as métricas baseadas em confiança subestimam severamente a utilidade das estratégias de percepção ativa, podendo interromper o desenvolvimento de sistemas de manipulação robustos.
2. Segurança no Controle (Gating): Destaca que confiar na confiança para decidir "quando olhar" é inseguro, pois o sistema pode permanecer estático precisamente quando o alvo está oculto.
3. Recomendação: Os autores recomendam mudar a avaliação e os mecanismos de controle para sinais "fundamentados no alvo" (ex: sobreposição com uma máscara de alvo rastreada ou erro de localização) em vez de confiança bruta de categoria. Eles também sugerem que os benchmarks devem distinguir entre layouts que genuinamente ocluem alvos (frontal) e aqueles que apenas os cercam com desordem (anel) para evitar resultados enganosos.

O artigo conclui que, embora mover a câmera resolva o problema da visibilidade, a mesma oclusão que derrota a confiança também limita a precisão da localização para a preensão, sugerindo que trabalhos futuros devem abordar a fusão de múltiplas visualizações ou busca rica em contato para preencher a lacuna entre detecção e preensão bem-sucedida.