Resumo Técnico: FARM (Find Anything using Relational Spatial Memory)

Declaração do Problema

Robôs operando em ambientes de grande escala e ricos em objetos (casas, armazéns, canteiros de obras) requerem sistemas de memória persistente capazes de recuperar instâncias específicas de objetos sob demanda. As abordagens existentes enfrentam duas limitações primárias:

1. Representação de Memória Insuficiente: SLAM semântico de vocabulário fechado e grafos de cena 3D falham em generalizar para os vocabulários abertos que os usuários empregam naturalmente. Embora existam métodos recentes de vocabulário aberto, eles frequentemente exigem pós-processamento offline, ajuste de hiperparâmetros entre escalas ou dependem de um raciocínio ponta a ponta frágil sobre grafos de cena.
2. Recuperação Relacional Ineficaz: Usuários tipicamente especificam alvos através de relações composicionais com marcos (ex: "a luminária alta abaixo do alvo e à esquerda do pôster"). A recuperação baseada puramente em embeddings (ex: CLIP) falha em capturar essas estruturas relacionais complexas. Por outro outro lado, o raciocínio de Modelo de Linguagem Visual (VLM) ponta a ponta sobre históricos de frames brutos ou grafos de cena é frequentemente frágil em relações espaciais não triviais, especialmente para modelos implantáveis em robôs, e sofre com janelas de contexto limitadas em ambientes de grande escala.

O artigo postula que a recuperação bem-sucedida exige uma memória espacial relacional: uma memória 3D que trata consultas não como simples buscas de rótulos, mas como especificações relacionais que identificam alvos através de relações semânticas, de aparência e espaciais entre múltiplos objetos.

Metodologia

O FARM aborda esses desafios através de um pipeline de dois estágios: construção de memória online e recuperação de objetos relacional robusta.

1. Construção de Memória Online

O FARM constrói uma memória de nível de objeto, compacta e de vocabulário aberto, em tempo real (5–10 Hz) sem pós-processamento offline.

• Representação: Cada objeto é representado como um único Gaussiano 3D ($\mathcal{N}(\mu, \Sigma)$) que resume localização e extensão espacial. Esta escolha evita hiperparâmetros de resolução global exigidos por voxels ou nuvens de pontos, permitindo que o sistema escale de pequenas salas internas para grandes locais externos (até 15.000 m²) sob uma configuração fixa.
• Atributos: Cada entidade armazena:
  • Geometria Gaussiana 3D.
  • Características de aparência no momento da detecção para associação entre visões.
  • Até $k$ visões representativas (recortes RGB) selecionadas por diversidade de viewpoint.
  • Legendas de vocabulário aberto geradas por VLMs.
  • Três embeddings de recuperação: embedding de texto da legenda, embedding de imagem SigLIP2 e embedding de imagem Qwen3-VL.
• Relações: O sistema armazena relações de baixa ordem (covisibilidade e adjacência via distância de Hellinger) em vez de predicados de alta ordem (ex: "à esquerda de") durante o mapeamento. Isso evita o crescimento exponencial na complexidade das relações; relações específicas são recuperadas no momento da consulta.
• Pipeline: O sistema executa um loop síncrono de detecção–elevação–associação–fusão no GPU. A legendagem visual-linguística e o embedding ocorrem assincronamente fora do caminho crítico usando trabalhadores VLM, garantindo que a taxa de quadros do mapeamento permaneça estável, independentemente da latência do VLM.

2. Recuperação de Objetos Relacional Robusta

A recuperação é desacoplada em três estágios para equilibrar eficiência e precisão:

1. Especificação de Consulta Executável: Um parser (Qwen3.5-9B) compila consultas em linguagem natural em um grafo de consulta tipado $\Pi(q) = (x^\star, a_1, \dots, a_m, S_q, \Phi_q)$. Isso define uma variável alvo $x^\star$, variáveis de âncora $a_i$, descrições de vocabulário aberto $S_q$ e predicados espaciais/semânticos $\Phi_q$.
2. Pontuação Suave e Vinculação (Binding):
   • Pontuações Unárias: Candidatos são pontuados com base na fusão de embeddings de texto, SigLIP2 e Qwen3-VL.
   • Pontuações Relacionais: Predicados são avaliados como funções suaves sobre os Gaussianos 3D da memória (ex: distância de Hellinger para "Perto", sigmoide de deslocamento vertical para "Acima/Abaixo", frames de observador virtual para "EsquerdaDe/DireitaDe").
   • Vinculação (Binding): O sistema vincula avidamente as âncoras às melhores entidades para cada candidato alvo, explorando a estrutura em forma de estrela de expressões de referência típicas para evitar a enumeração exaustiva.
3. Reranking por VLM: Os 5 principais candidatos são reclassificados por um VLM (Qwen3.5-9B) que inspeciona as visões projetadas do candidato e de suas âncoras correspondentes. Este estágio resolve ambiguidades residuais que predicados geométricos sozinhos não conseguem resolver.

Principais Contribuições

1. Algoritmo de Grafo de Cena em Tempo Real: Um algoritmo escalável que constrói memória espacial de vocabulário aberto online em escala robótica (5–10 Hz) usando um conjunto fixo de hiperparâmetros através de diversos ambientes internos e externos, sem necessidade de pós-processamento offline.
2. Framework de Recuperação Relacional: Um sistema de recuperação que supera métodos anteriores tanto em precisão top-1 quanto em recall top-K, combinando parsing simbólico estruturado com avaliação de predicados suaves e reranking por VLM.
3. Benchmark FARM-Scenes: Um novo benchmark composto por sete cenas de grande escala, internas e externas (variando de 1.800 a 15.000 m²), curadas para testar a escalabilidade e o grounding relacional em ambientes do mundo real e congestionados.

Resultados Experimentais

Os autores avaliaram o FARM em 67 cenas (ScanNet, HM3D e FARM-Scenes) com 44.000 consultas de linguagem.

• Ganhos de Desempenho: Comparado a métodos anteriores (BBQ, RynnBrain, DAAAM), o FARM melhorou:
  • Recall@5 em 164% e Recall@10 em 224% sobre o BBQ.
  • Acurácia@1 em 35% sobre a linha de base mais forte de raciocínio VLM (RynnBrain ou DAAAM+R).
  • No benchmark HM3D-30, o FARM melhorou a Acurácia@1 em 30% em relação ao DAAAM (7,9% vs. 6,1%).
• Eficiência: O FARM mantém um throughput de mapeamento de 8 Hz. A pegada de memória é compacta (23 MiB para ScanNet, ~125 MiB para HM3D), adequada para implantação em dispositivos.
• Implantação no Mundo Real: O sistema foi implantado com sucesso em um robô Boston Dynamics Spot com computação embarcada NVIDIA Jetson Thor, demonstrando construção de memória de ciclo fechado e recuperação relacional em tempo real sem pré-processamento offline.

Significância e Alegações

O artigo afirma que o FARM estabelece um novo estado da arte para o grounding de objetos relacional em ambientes de grande escala. Sua significância reside em:

• Preenchendo a Lacuna: Ele consegue preencher a lacuna entre a força perceptiva dos modernos VLMs e a necessidade de uma memória espacial persistente e estruturada, evitando as limitações de janela de contexto do raciocínio baseado puramente em vídeo.
• Escalabilidade: Ao usar Gaussianos 3D e adiar a construção de relações de alta ordem para o tempo de consulta, o FARM alcança escalabilidade através de tamanhos de cena vastamente diferentes (de 15 m² a 15.000 m²) sem necessidade de reajuste.
• Robustez: O uso estruturado de VLMs (parsing e reranking) em vez de raciocínio ponta a ponta sobre grafos produz recuperação mais precisa e robusta, particularmente para desambiguação espacial refinada.
• Praticidade: O sistema opera em tempo real em hardware embarcado, permitindo que robôs construam e consultem sua própria memória durante a operação.

Os autores reconhecem limitações, observando que os predicados espaciais são especificados manualmente e não são calibrados, e que os benchmarks atuais avaliam principalmente relações entre o alvo e as âncoras, em vez de raciocínio complexo entre múltiplas âncoras. Eles sugerem trabalhos futuros em aprender funções de predicado calibradas e estender os benchmarks para suportar raciocínio de âncoras composicionais.