MobileRACMA: Reliability-Aware Cross-Modal Attention for Efficient RGB–Thermal Monocular Depth Measurement on Edge Platforms

Resumo Técnico: MobileRACMA

Definição do Problema
A estimativa de profundidade monocular é uma capacidade crítica para instrumentação inteligente, suportando aplicações que vão desde a navegação robótica até dispositivos assistivos. Embora o aprendizado profundo tenha avançado na estimativa de profundidade apenas com RGB, esses sistemas permanecem frágeis sob degradação fotométrica, como névoa, chuva, baixa iluminação, desfoque de movimento e ruído do sensor. A imagem infravermelha térmica oferece uma modalidade complementar que captura radiação emitida em vez de luz refletida, mantendo a utilidade em condições adversas. No entanto, a fusão ingênua de dados RGB e térmicos introduz desafios significativos: aumento do custo computacional, potencial instabilidade quando um sensor está degradado e uma falta de garantias formais de que a troca de informações entre modalidades permaneça limitada. Os mecanismos de fusão existentes frequentemente falham ao não restringir explicitamente a influência cross-modal, correndo o risco de saturação de atenção ou "colapso de modalidade", onde um sensor ruidoso corrompe a saída fundida. Além além disso, muitas arquiteturas multimodais são excessivamente custosas computacionalmente para implantação em tempo real em GPUs de borda de consumo.

Metodologia
O artigo propõe o MobileRACMA (Reliability-Aware Cross-Modal Attention), uma arquitetura leve projetada para medição de profundidade RGB–térmica eficiente em plataformas de borda. O framework é construído sobre três princípios fundamentais: fusão consciente da confiabilidade, influência cross-modal limitada e eficiência implantável.

1. Arquitetura: O modelo utiliza codificadores paralelos e leves para entradas RGB e térmicas, empregando convoluções separáveis em profundidade (depthwise-separable) para minimizar a carga computacional. Um decodificador compacto reconstrói o mapa de profundidade métrica denso.
2. Ramo de Estimativa de Confiabilidade: Um ramo dedicado e leve prevê mapas de confiabilidade por pixel ($R_R$ e $R_T$) para ambas as modalidades. Esses mapas, restritos ao intervalo $[0, 1]$ via ativação sigmoide, indicam a confiabilidade local das características para a estimativa de profundidade.
3. Módulo RACMA: A inovação central é o módulo de Atenção Cross-Modal Consciente da Confiabilidade (RACMA). Em vez da atenção cross-modal padrão, o RACMA calcula um viés de confiabilidade assinado definido como $R_{bias} = \lambda(R_T - R_R)$, onde $0 < \lambda < 1$. Este viés é adicionado aos escores de atenção antes da operação softmax.
   • Se a confiabilidade térmica exceder a confiabilidade RGB, o viés incentiva a contribuição térmica.
   • Se o RGB for mais confiável, a influência térmica é suprimida.
   • Crucialmente, a magnitude desta influência é estritamente limitada por $\lambda$.
4. Garantia Teórica: Os autores fornecem uma prova formal (Teorema 1) demonstrando que, para todas as entradas admissíveis, o viés assinado satisfaz $|R_{bias}| < \lambda < 1$. Isso garante que o mecanismo de atenção não cresça de forma ilimitada, prevenindo teoricamente a saturação de atenção e o colapso de modalidade durante operações degradadas.
5. Treinamento Consciente da Degradação: A estratégia de treinamento expõe a rede a seis classes de corrupção sintética (baixa luminosidade, névoa, chuva, desfoque, ruído, perda de contraste) aplicadas independentemente às transmissões RGB e térmica. Esta abordagem de aprendizado curricular força o ramo de confiabilidade a aprender a qualidade local do sensor em vez de memorizar preferências fixas de modalidade.

Principais Contribuições

• Arquitetura MobileRACMA: Um framework de estimativa de profundidade RGB–térmica leve, projetado especificamente para implantação em borda, utilizando backbones separáveis em profundidade para restringir o custo computacional a 1,73 GFLOPs.
• Módulo RACMA: Um mecanismo de atenção cross-modal limitado que regula a troca de características usando escores de confiabilidade por pixel, garantindo que nenhuma modalidade possa dominar o processo de fusão de forma incontrolável.
• Prova de Estabilidade Formal: Uma demonstração teórica de que o viés de confiabilidade assinado é limitado por $\lambda$, fornecendo uma garantia contra a instabilidade frequentemente associada a mecanismos de atenção sem restrições em fusão multimodal.
• Protocolo de Avaliação Abrangente: Um protocolo experimental proposto cobrindo desempenho em benchmarks limpos, robustez sob degradação, estudos de ablação, validação estatística, transferência entre datasets e avaliação de latência de borda.

Resultados (Espaço Reservado Sintético)
Nota: O artigo afirma explicitamente que todos os valores numéricos apresentados são espaços reservados sintéticos gerados para o desenvolvimento do manuscrito e devem ser substituídos por dados experimentais reais antes da submissão.

Usando estes valores ilustrativos no dataset NYU Depth V2, o MobileRACMA alcançou:

• RMSE: 0,342 m
• Precisão $\delta_1$: 0,897
• SSIM: 0,924
• Desempenho de Borda: 45 FPS em uma GPU NVIDIA MX250 de 2 GB com uma latência mediana de 26 ms.

O modelo superou sete variantes de ablação (incluindo "Sem Confiabilidade", "Sem Limite" e "Fusão Padrão") e cinco baselines leves (ex: FastDepth, MobileViT-Depth). Em testes de transferência entre datasets no DIODE e avaliações qualitativas zero-shot no LLVIP, o modelo manteve um ranking superior, sugerindo que a fusão consciente da confiabilidade aprende a selecionar pistas localmente úteis em vez de memorizar aparências específicas de um dataset. A análise de robustez indicou que o MobileRACMA reduziu significativamente o aumento de erro sob condições de baixa luminosidade e névoa em comparação com variantes apenas RGB.

Significância e Alegações
O artigo alega que o MobileRACMA aborda a lacuna entre a fusão multimodal de alta precisão e as restrições rigorosas da instrumentação de borda. Ao provar que a fusão consciente da confiabilidade e limitada pode melhorar a robustez sem sacrificar a eficiência, o trabalho oferece uma direção prática para o implante de sensores de profundidade em ambientes reais degradados. Os autores enfatizam que a natureza limitada do viés de atenção fornece um nível de estabilidade e explicabilidade frequentemente ausente na fusão baseada em atenção convencional, tornando o sistema mais adequado para instrumentação de segurança crítica, onde as medições devem permanecer estáveis sob a degradação do sensor.

Os autores concluem com um aviso modesto: o atual manuscrito serve como uma proposta estrutural e teórica. As métricas de desempenho específicas são espaços reservados, e a validade das alegações relativas à robustez e eficiência depende do sucesso da regeneração destes resultados usando dados experimentais reais e alinhamentos de sensores reais antes da submissão ao periódico.