A Dragonfly-Inspired Heterogeneous Sensing System for Task-Driven Multi-Modal Perception

Resumo Técnico: Um Sistema de Sensoriamento Heterogêneo Inspirado na Libélula para Percepção Multimodal Orientada a Tarefas

Definição do Problema
À medida que a inteligência artificial transita da interpretação digital para a ação incorporada, a percepção robótica enfrenta uma limitação crítica: os sistemas atuais recuperam primariamente a aparência da cena visível e a geometria de linha de visão (LoS - line-of-sight). Essas representações falham em capturar estruturas ocluídas, conteúdo fora da linha de visão (NLoS - non-line-of-sight) e atributos físicos dependentes de materiais, essenciais para a interação em ambientes do mundo real. Embora o sensoriamento multimodal (por exemplo, combinando câmeras e LiDAR) tenha melhorado a robustez, os pipelines de fusão existentes são frequentemente otimizados para saídas predefinidas, como detecção de objetos ou completude de profundidade, em vez de construir uma representação de cena física unificada que integre identidade semântica, geometria métrica, estruturas ocultas e propriedades de materiais. Além disso, o sensoriamento em Terahertz (THz), que oferece insights estruturais conscientes da propagação e respostas sensíveis a materiais, permanece amplamente desconectado das representações semânticas e geométricas de cena devido à falta de fluxos de trabalho de sensoriamento explícitos.

Metodologia
Os autores propõem o Dragonfly-TeraVision, uma arquitetura de sensoriamento heterogêneo inspirada nos olhos compostos e no sistema nervoso da libélula. O sistema integra três modalidades de sensoriamento complementares:

1. Visão Panorâmica: Fornece contexto semântico denso e textura sobre um amplo campo de visão.
2. LiDAR: Entrega geometria métrica de LoS precisa, formando um arcabouço espacial de superfícies visíveis.
3. Sensoriamento THz Monostático: Captura respostas eletromagnéticas resolvidas por propagação, permitindo a detecção de estruturas ocultas (via penetração/espalhamento) e características de reflexão sensíveis ao material.

Arquitetura do Sistema
A inovação central é um agente orientado por tarefas que funciona como um "cérebro de sensoriamento". Diferente dos métodos de fusão tradicionais que tratam os dados dos sensores como fluxos intercambiáveis, este agente:

• Decompõe Objetivos: Decompõe uma tarefa de sensoriamento (por exemplo, "reconstruir estruturas ocultas" ou "associar materiais") nos atributos de cena necessários.
• Seleciona Habilidades: Seleciona dinamicamente módulos de processamento específicos de uma biblioteca modular (por exemplo, segmentação semântica, registro ICP, extração de componentes de múltiplos caminhos baseada em SAGE) com base na tarefa e no manifesto de dados disponível.
• Associa Evidências: Direciona as saídas de modalidades heterogêneas para uma representação de cena física comum usando restrições multimodais guiadas pela física.

Configuração Experimental e Processamento
O sistema foi validado em um corredor em forma de L com 16 posições de sensoriamento.

• Processamento de Visão: Imagens panorâmicas foram processadas usando Mask2Former (pré-treinado em ADE20K) para gerar máscaras semânticas densas, que foram então mapeadas para coordenadas angulares.
• Processamento de LiDAR: Nuvens de pontos de múltiplas orientações foram registradas globalmente usando o Algoritmo de Proximidade de Iteração Mais Próxima (ICP). Estruturas planares dominantes foram extraídas usando RANSAC com restrição de ortogonalidade para criar um arcabouço geométrico métrico.
• Processamento de THz: Respostas de frequência angular (290–310 GHz) foram processadas usando a Expectativa-Maximização Alternada no Espaço (SAGE) para extrair Componentes de Múltiplos Caminhos (MPCs). Estes foram mapeados espacialmente como pontos de espalhamento esparsos e usados para estimar perdas de reflexão para identificação de materiais.
• Associação: O agente ancorou rótulos semânticos à geometria do LiDAR, integrou pontos de espalhamento derivados de THz para suplementar a geometria em regiões ocluídas (atrás de uma cortina) e vinculou as perdas de reflexão de THz a regiões semânticas específicas (por exemplo, paredes versus portas).

Principais Resultados

1. Reconstrução Semântica-Métrica-Geométrica: O sistema construiu com sucesso um mapa 3D unificado combinando rótulos semânticos, geometria métrica e evidência estrutural derivada de THz.
2. Percepção NLoS: Na presença de uma cortina ocluindo uma porta metálica, o sensoriamento THz revelou pontos de espalhamento correspondentes à porta e à parede ocultas, suplementando o arcabouço de LiDAR visível onde os sensores ópticos e LiDAR estavam bloqueados.
3. Consciência de Material: Ao associar caminhos de incidência quase normal com máscaras semânticas, o sistema vinculou as estimativas de perda de reflexão a materiais específicos (por exemplo, distinguindo paredes de cimento de portas de metal).
4. Sensoriamento de Objetos Ocultos: Em um benchmark controlado de "copo opaco", o sistema detectou bolas ocultas (aço, vidro, madeira) dentro de copos de papel visualmente opacos. Enquanto a visão e o LiDAR observaram apenas o exterior do copo, as medições de THz identificaram picos de reflexão atrasados correspondentes aos objetos ocultos. As estimativas de perda de reflexão compensadas foram consistentes com as propriedades conhecidas dos materiais de aço, vidro e madeira.

Significância e Alegações
O artigo afirma estabelecer um caminho para sistemas de sensoriamento incorporados que vão além da descrição de cenas visíveis para a reconstrução de ambientes fisicamente interpretáveis. As principais contribuições incluem:

• Princípio Arquitetural: Demonstrar que as modalidades heterogêneas não devem ser vistas como sensores intercambiáveis, mas como modalidades perceptivas complementares que contribuem com diferentes partes de uma representação de cena física, analogamente aos olhos compostos biológicos.
• Integração Orientada por Tarefas: Mostrar que um framework agêntico pode coordenar o sensoriamento de visão, LiDAR e THz para produzir representações específicas de tarefas (geometria semântica, evidência oculta, associação de materiais) em vez de saídas estáticas e predefinidas.
• Representação Unificada: Vincular com sucesso semântica visual, geometria métrica, conteúdo NLoS e respostas de THz sensíveis a materiais dentro de um único modelo de cena física.

Os autores enfatizam que este trabalho não propõe um ranking universal de desempenho de sensores, mas sim um mapa de capacidades onde o Dragonfly-TeraVision melhora a completude da representação da cena ao preservar os significados físicos distintos de cada modalidade e organizá-los de acordo com a função perceptual necessária para a interação com o mundo físico.