Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

Resumo Técnico: AnomNOVIC – Reconhecimento de Anomalias de Vocabulário Aberto Sem Prompts

Declaração do Problema
Agentes robóticos operando em ambientes reais e não estruturados enfrentam um gargalo crítico: a incapacidade de perceber e reconhecer visualmente objetos anteriormente não vistos em tempo real. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado no raciocínio de alto nível, eles dependem de sistemas de percepção visual que são frequentemente limitados. Os detectores de objetos de vocabulário aberto existentes geralmente se dividem em duas categorias com limitações significativas:

1. Modelos Baseados em Prompts: Sistemas como ViLD, OWLv2 e YOLO-World exigem uma lista predefinida de classes de objetos candidatas no momento da inferência. Essa restrição de "prompting" limita severamente a utilidade prática, pois um robô não pode detectar objetos para os quais não foi explicitamente instruído a procurar, e esses modelos frequentemente falham de forma inadequada (produzindo falsos positivos) ao encontrar objetos novos.
2. Abertura Limitada: Mesmo modelos "sem prompts" frequentemente sofrem com vocabulários ativos limitados devido ao treinamento em conjuntos de dados com cobertura de conceitos restrita (por exemplo, o YOLOE depende de um vocabulário fixo de aproximadamente 4.585 tags). Além disso, muitos modelos existentes não conseguem simultaneamente localizar múltiplos objetos e atribuir rótulos de forma livre e detalhada, uma capacidade crucial para a manipulação robótica.

Metodologia: O Framework AnomNOVIC
Os autores propõem o AnomNOVIC, um framework de dois estágios, sem prompts, projetado para espaços de trabalho conhecidos (ex: a mesa de um robô). O sistema desacopla a localização de objetos da classificação para alcançar a detecção imparcial de qualquer objeto novo.

• Estágio 1: Localização Agnóstica à Classe via Detecção de Anomalias

  • Arquitetura: Um Vision Transformer (ViT) Masked Autoencoder (MAE) é treinado exclusivamente em imagens do espaço de trabalho vazio do robô (a "linha de base normativa").
  • Estratégia de Treinamento: O MAE é treinado para reconstruir a cena. Para ensinar o modelo a identificar objetos como anomalias, uma estratégia de aumento de "colagem de objetos" é empregada: anomalias sintéticas são coladas nas imagens de treinamento, mas omitidas da reconstrução alvo. Consequentemente, o MAE aprende a reconstruir o plano de fundo enquanto ignora (e, portanto, sinaliza) os objetos colados.
  • Saídas: O decodificador é estendido para produzir três saídas alinhadas: uma imagem RGB reconstruída, uma máscara binária da mesa e uma máscara de anomalia.
  • Inferência: Durante a inferência, os objetos presentes na mesa são tratados como anomalias porque não estavam na distribuição de treinamento. O sistema calcula um mapa de erro de reconstrução e uma máscara de anomalia. Estes são fundidos, filtrados e processados (opcionalmente refinados pelo SAM 2.1) para gerar caixas delimitadoras (bounding boxes) agnósticas à classe para todos os objetos detectados.

• Estágio 2: Classificação Sem Prompts via NOVIC

  • Arquitetura: As regiões de interesse (RoIs) recortadas identificadas no Estágio 1 são passadas para o NOVIC, um classificador de imagem de vocabulário aberto em tempo real.
  • Mecanismo: Ao contrário dos modelos baseados em prompts, o NOVIC gera rótulos de substantivos de objetos de forma livre, sem exigir uma lista de classes candidatas. Ele utiliza um modelo CLIP pré-treinado e um decodificador de classificação treinado em um enorme conjunto de dados de texto sintético controlável de conteúdo, cobrindo uma taxonomia de substantivos de objetos quase irrestrita (~43K).
  • Pontuação: A pontuação de confiança final combina a probabilidade de predição do NOVIC com a confiança da anomalia derivada do erro de reconstrução do MAE e das saídas de máscara.

Principais Contribuições

1. Detecção de Vocabulário Aberto Sem Prompts: O AnomNOVIC é o primeiro framework a integrar com sucesso um poderoso classificador sem prompts (NOVIC) com um pipeline de localização agnóstica à classe, permitindo a detecção e rotulagem de objetos sem quaisquer listas de classes predefinidas.
2. Localização Baseada em Anomalias: Ao enquadrar a detecção de objetos como uma tarefa de detecção de anomalias dentro de um espaço de trabalho conhecido, o sistema evita o viés de vocabulário. Ele utiliza o princípio de que "qualquer coisa que não pertence" é um objeto, permitindo a descoberta de objetos de qualquer forma, textura ou novidade.
3. Conjunto de Dados e Benchmarking: Os autores introduzem uma coleção de dados desafiadora para o robô humanoide NICOL, incluindo cenários de mesa "comuns" (plain) e com "distratores" (distractor), bem como um conjunto de teste "Wild" com 48 objetos únicos do mundo real.
4. Adaptação de Modelo: O trabalho detalha o retreinamento e o limiar de frequência dos variantes N-FT0 e N-FT2 do NOVIC, especificamente ajustados para o ambiente de laboratório do robô, demonstrando que o reponderamento de dados melhora o desempenho em cenários específicos de open-set.

Resultados Experimentais
Avaliado no ambiente de mesa NICOL e no conjunto de dados Wild, o AnomNOVIC supera significativamente os baselines de estado da arte, incluindo o YOLOE (o único baseline disponível sem prompts), OWLv2 e YOLO-World-v2.

• Desempenho Sem Prompts: No conjunto de dados "plain", o AnomNOVIC-S (com refinamento SAM) alcança 47,1% AP e 57,5% AP50, comparado aos 20,4% AP do YOLOE. No conjunto de dados Wild, alcança até 82,6% de precisão de detecção e classificação, superando vastamente os 14,2% do YOLOE.
• Desempenho Com Prompts: Quando as classes candidatas são fornecidas, o AnomNOVIC atinge 59,0% AP e 72,5% AP50, dobrando novamente o desempenho dos competidores mais fortes baseados em prompts (ex: YOLO-World-v2-X).
• Superioridade Qualitativa: O sistema demonstra a capacidade de fornecer classificações detalhadas e corretas (ex: "medalha de prata", "amplificador de áudio") onde os baselines baseados em prompts frequentemente produzem falsos positivos de alta confiança ou falham em detectar itens novos.

Significância e Alegações
O artigo afirma que o AnomNOVIC aborda a "forte restrição" dos modelos baseados em prompts, que mina a vantagem central da detecção de vocabulário aberto ao limitar os robôs apenas a classes conhecidas. Ao desacoplar a localização da classificação e utilizar a detecção de anomalias, o sistema permite que os robôs interajam com "objetos totalmente novos durante a execução".

Os autores posicionam este trabalho como um passo em direção a "robôs semanticamente conscientes", capazes de perceber e interagir com ambientes de abertura aberta. Eles enfatizam que a abordagem é particularmente eficaz para espaços de trabalho conhecidos (como a mesa de um robô) onde uma linha de base normativa pode ser estabelecida, permitindo a descoberta imparcial e em tempo real do desconhecido sem a necessidade de ajuste fino específico para a tarefa ou prompts de classe. Os resultados sugerem que combinar a detecção de anomalias baseada em reconstrução com a classificação não restrita é um caminho viável para a verdadeira autonomia de mundo aberto na robótica.