Resumo Técnico: PInVerify: Um Benchmark de Verificação de Instância Ativa Offline para IA Incorporada

1. Definição do Problema

Os atuais benchmarks de IA incorporada (ex: ObjectNav, OVON, PIN) avaliam primariamente a capacidade de um agente em navegar até a vizinhança de uma categoria de objeto ou de uma instância especificada por linguagem. No entanto, chegar à vizinhança do objetivo não garante que o agente tenha identificado a instância correta. Diferenças sutis de atributos (ex: canecas "florais brancas" vs. "listradas brancas") frequentemente exigem inspeção de curto alcance e de múltiplos ângulos para serem resolvidas. As métricas de navegação existentes tratam a chegada à vizinhança do objetivo como sucesso, mascarando um modo de falha crítico onde o agente entrega o objeto errado, apesar de atingir o local correto.

O artigo identifica uma lacuna entre o sucesso geométrico (chegar perto do alvo) e o sucesso semântico (verificar a identidade da instância contra uma descrição detalhada). Embora alguns trabalhos recentes insiram etapas de "verificação de alvo" em cadeias de navegação, a verificação permanece incorporada em vez de isolada como um problema de decisão autônomo. Os autores defendem a Verificação de Instância Ativa (AIV - Active Instance Verification): uma tarefa onde um agente, dado um objeto candidato e uma descrição de linguagem natural detalhada, seleciona ativamente uma sequência de pontos de vista para decidir se o objeto corresponde à descrição.

2. Metodologia e Design do Benchmark

2.1. A Formulação da Tarefa AIV

A AIV é formalizada como um processo de decisão de horizonte finito. Um episódio é definido por uma tupla $(Q, o_{query}, o_{target}, G)$:

• $Q$: Um conjunto de descrições de linguagem natural que caracterizam a instância da consulta.
• $o_{target}$: O objeto candidato fisicamente colocado na cena.
• $G$: Um grafo de navegação ao redor de $o_{target}$ consistindo em pontos de vista pré-capturados (nós) e transições navegáveis (arestas).

Estado e Ação:

• Estado ($S_t$): Inclui o ponto de vista atual ($p_t$), a observação (imagem RGB + avisos de visibilidade) e uma crença interna ($B_t$) sobre a decisão de verificação.
• Espaço de Ação ($A$): Inclui ações de navegação ($NAV_{d_k}$) para se mover para um dos $K=6$ setores azimutais, e decisões terminais de verificação ($SIM, NÃO$).
• Horizonte: $T=6$ passos (cada setor visitado no máximo uma vez).

Tipos de Pares:
Para distinguir entre viés de calibração e capacidade de reconhecimento, o conjunto de avaliação é equilibrado entre três tipos de pares:

1. Positivo: $o_{query} = o_{target}$ (Mesma instância).
2. Neg Same (Negativo Igual): Mesma categoria, atributos detalhados diferentes (ex: duas mochilas com cores diferentes).
3. Neg Diff (Negativo Diferente): Categorias diferentes (ex: consulta de mochila vs. alvo de chapéu).

2.2. O Benchmark PInVerify

O PInVerify é um benchmark de IA incorporada offline construído sobre o dataset PInNED (cenas HM3D com objetos Objaverse-XL). As principais inovações incluem:

• Escala de Dados: 3.000 episódios de avaliação em 18 categorias de objetos (ex: mochila, caneca, chaves).
• Topologia de Múltiplos Ângulos: Um grafo de navegação de 6 setores com dois anéis de observação (Longe: 1.4–1.7m; Perto: 0.9–1.2m).
• Anotações ao Nível de Protocolo:
  • Visualizações Armadilha (Trap Views): Setores geometricamente navegáveis onde a máscara projetada do alvo cai abaixo de um limite de visibilidade (não informativos devido a oclusão ou ângulo).
  • Setores Inalcançáveis: Setores bloqueados por paredes ou móveis onde a navegação falha.
  • Pares Estratificados: Separação explícita de pares positivos, neg-same e neg-diff para analisar modos de falha.
• Natureza Offline: Observações pré-capturadas eliminam a estocasticidade de renderização e isolam a decisão de verificação do controle de locomoção, permitindo ablações controladas sobre detecção e raciocínio.

2.3. Agentes de Referência

Os autores fornecem dois agentes de base para mapear a dificuldade do PInVerify:

1. Pipeline Modular Sem Treinamento:
   • Decomposição de Atributos: Usa um MLLM para decompor descrições em atributos estruturados.
   • Verificação por Visão: Localiza o objeto (via Grounding DINO ou caixas GT) e verifica os atributos um a um.
   • Rastreador Ponderado por Confiança: Acumula evidências através das visões, reduzindo o peso de observações de baixa visibilidade (trap) para evitar rejeições espúrias.
   • Próximo Melhor Ponto de Vista (NBV): Compara estratégias Aleatória, Amostragem de Ponto Mais Distante Angular (FPS) e guiada por LLM.
2. Agente End-to-End com Ajuste Fino via LoRA:
   • Baseado no Qwen3-VL-4B, ajustado via LoRA.
   • Treinado via Aprendizado Supervisionado por Reforço (SFT) em traços de cadeia de pensamento (chain-of-thought), seguido de estratégias de alinhamento (DPO, GRPO, GSPO).
   • Realiza verificação e navegação em uma única passagem direta (forward pass).

3. Resultados Principais

3.1. Desempenho da Base

• MLLM vs. Embeddings: A melhor base baseada em MLLM (Qwen3-VL-4B com decomposição de atributos e rastreamento de múltiplos ângulos) alcança 85,0% de precisão geral, superando a melhor base de embeddings (SigLIP2, 80,1%) em 4,9 pontos percentuais (pp). A lacuna é significativamente maior em pares positivos (59,6% vs. 42,9%).
• Gargalo de Detecção: Ablações usando caixas delimitadoras de Verdade de Campo (GT) em vez de Grounding DINO mostram um ganho de +3,1 pp na precisão geral (e +10,6 pp em pares positivos), identificando a qualidade da detecção como um grande gargalo, particularmente para objetos pequenos (ex: chaves, relógios).
• Estratégias de NBV: Dentro da escala testada, diferentes estratégias de NBV (Aleatória, FPS, guiada por LLM) produzem resultados dentro do intervalo de confiança de 95% ($\pm 1,3$ pp). Nenhuma estratégia mostra ganhos confiáveis de seleção ativa sobre amostragem aleatória no cenário sem treinamento.

3.2. Desempenho do Agente Treinado

• Impacto do SFT: Um agente ajustado via LoRA (SFT) melhora a precisão geral de 70,6% (base) para 84,8%, com um salto massivo na precisão de pares positivos (0,146 $\to$ 0,759).
• Alinhamento: O alinhamento pós-SFT com GSPO (Group Sequence Policy Optimization) melhora ainda mais o desempenho para 85,6% (88,9% com caixas GT).
• Compensações (Trade-offs): Agentes treinados exibem uma mudança na calibração: eles melhoram significativamente a confirmação positiva, mas mostram redução na precisão de rejeição de "neg same" comparado ao pipeline sem treinamento. Eles também demonstram maior eficiência, reduzindo o Passo Médio para Decisão (ASD) de 2,34 para 1,62 e as taxas de falha de navegação de 28% para 9%.

4. Significância e Alegações

O artigo posiciona o PInVerify como um testbed controlado que complementa, em vez de substituir, os benchmarks de navegação existentes. Sua significância reside em:

1. Isolamento da Verificação Semântica: Ao abstrair a locomoção, permite que pesquisadores estudem o desafio específico de verificar a identidade de instância detalhada sob oclusão e incerteza de ponto de vista.
2. Revelação de Problemas de Calibração: Os resultados destacam que, para MLLMs em dispositivos ($\le$ 8B parâmetros), a calibração (o equilíbrio entre confirmar correspondências e rejeitar incompatibilidades) é tão crítica quanto a capacidade bruta. A melhor estratégia de consulta depende do perfil de calibração específico do modelo.
3. Identificação de Gargalos: O benchmark evidencia explicitamente a qualidade da detecção e o tratamento de "visualizações armadilha" (trap views) como principais modos de falha, sugerindo que trabalhos futuros devem abordar detecção de vocabulário aberto robusta e seleção de visão consciente de incerteza.
4. Reprodutibilidade Offline: O uso de dados pré-capturados garante que os resultados de avaliação não sejam confundidos por variações de renderização ou estocasticidade de controle, facilitando a comparação justa de algoritmos de verificação.

Os autores concluem que, embora os MLLMs atuais possam realizar verificação ativa, eles ainda não são robustos o suficiente para selecionar confiavelmente a "melhor" visão em todos os cenários, e a qualidade da detecção continua sendo um fator limitante para a verificação semântica detalhada na IA incorporada.