TRGS-SLAM: IMU-Aided Gaussian Splatting SLAM for Blurry, Rolling Shutter, and Noisy Thermal Images

Título: TRGS-SLAM: SLAM com Splatting Gaussiano Auxiliado por IMU para Imagens Térmicas Borradas, com Obturador Rolante e Ruidosas

1. O Problema

As câmeras térmicas oferecem vantagens cruciais para robôs móveis em ambientes desafiadores (escuro, neblina, fumaça, poeira), sendo invariantes a mudanças de iluminação e permitindo a visão através de oclusores visuais. No entanto, câmeras térmicas práticas (microbolômetros não resfriados) apresentam degradações severas que inviabilizam a maioria dos sistemas de SLAM (Localização e Mapeamento Simultâneo) existentes:

• Ruído de Padrão Fixo (FPN): Ruído estrutural inerente aos sensores.
• Desfoque de Movimento (Motion Blur): Causado pela inércia térmica do sensor durante movimentos rápidos.
• Distorção de Obturador Rolante (Rolling Shutter): Distorções geométricas devido à leitura sequencial dos pixels.
• Baixo Contraste: Dificulta a extração de características tradicionais.

A maioria dos trabalhos anteriores em SLAM térmico focou apenas no ruído e baixo contraste, ignorando o desfoque e a distorção de obturador, que são críticos em cenários de resgate com movimentos agressivos. Além disso, métodos baseados em NeRF (Neural Radiance Fields) que lidam com essas degradações geralmente exigem poses verdadeiras (ground truth) e não funcionam em tempo real ou em sistemas online.

2. Metodologia

O TRGS-SLAM é um sistema de SLAM térmico-inercial baseado em 3D Gaussian Splatting (3DGS) que integra um modelo físico da câmera térmica diretamente no pipeline de renderização e otimização.

A. Representação do Mapa e Trajetória

• Mapa 3DGS: O mapa é representado por uma nuvem de elipsoides gaussianos 3D, mas, ao contrário do 3DGS original, utiliza apenas intensidade escalar (sem dependência de ângulo de visão) para reduzir parâmetros, já que imagens térmicas são monocromáticas.
• Trajetória Contínua (B-Splines): Em vez de estimar poses discretas, o sistema utiliza B-splines uniformes para representar a trajetória contínua de posição e rotação no tempo. Isso permite modelar naturalmente o desfoque de movimento e a distorção de obturador rolante, calculando a pose exata para cada instante de leitura de pixel.

B. Fusão com IMU

O sistema realiza uma fusão tight (estreita) com uma Unidade de Medição Inercial (IMU):

• Perda de IMU em Duas Etapas: Antes da inicialização da IMU, utiliza-se apenas dados do giroscópio. Após a inicialização, integra-se acelerômetro e giroscópio.
• Otimização Direta: A perda da IMU é calculada diretamente sobre os parâmetros dos B-splines, permitindo que a dinâmica do sensor corrija a trajetória contínua sem necessidade de integração prévia (pre-integration).

C. Renderização Consciente do Microbolômetro

O núcleo da inovação é um método de renderização que simula a formação de imagem térmica degradada:

1. Modelo de Desfoque: O sistema renderiza múltiplas imagens (rasters) ao longo do intervalo de integração térmica do sensor e as combina ponderadamente para simular o desfoque (baseado na constante de tempo térmica $\tau$).
2. Modelo de Obturador Rolante: Calcula o tempo de leitura exato para cada pixel, permitindo que a projeção 3D-2D seja feita corretamente para cada sub-pixel.
3. Estimativa de FPN: O sistema estima o Ruído de Padrão Fixo (FPN) densamente usando duas splines aprendidas: uma para o offset por pixel ($O_{pix}$) e outra para variações globais de intensidade ($o_{global}$).

D. Estratégias de Otimização e Estabilidade

• Reset de Opacidade Baseado em Diversidade de Visão: Para evitar a acumulação de gaussianas mal condicionadas nas bordas da cena, o sistema calcula a matriz de momentos de segunda ordem das direções de visão. Gaussianas com baixa diversidade de visão (alto número de condição) têm sua opacidade resetada.
• Correção de Deriva (Drift): Utiliza uma janela de keyframes com pesos diferenciados. Keyframes antigos têm maior peso na perda de imagem e IMU para evitar que a janela atual sobrescreva erroneamente partes bem mapeadas do mapa.
• Relocalização: Se o SSIM (Similaridade Estrutural) entre a renderização e a imagem real cair drasticamente (indicando falha de rastreamento), o sistema reverte o estado para antes da otimização de mapeamento e tenta relocalizar.

3. Contribuições Principais

1. Sistema SLAM Térmico-Inercial Robusto: Primeiro sistema capaz de realizar rastreamento preciso em imagens térmicas com degradações severas (desfoque, obturador rolante e ruído) sem poses verdadeiras.
2. Novos Métodos para 3DGS SLAM:
   • Renderização consciente do microbolômetro (simulando desfoque e obturador).
   • Perda direta de IMU em duas etapas integrada à otimização de B-splines.
   • Mecanismo de reset de opacidade baseado na diversidade de visão.
3. Restauração de Imagem Offline: O sistema permite um refinamento offline que restaura imagens térmicas com qualidade comparável a métodos que exigem poses verdadeiras (como o TRNeRF), mas sem essa dependência.

4. Resultados

O sistema foi avaliado no conjunto de dados TRNeRF, que contém sequências com diferentes velocidades de câmera e ambientes (interior/exterior).

• Desempenho de SLAM:

  • O TRGS-SLAM foi o único método capaz de rastrear com sucesso as sequências mais desafiadoras (movimento rápido em ambientes internos e externos com baixo contraste).
  • Métodos baseados em frame-to-frame (como ORB-SLAM3, DROID-SLAM) falharam completamente nas sequências rápidas.
  • Métodos frame-to-model existentes (como MonoGS) também falharam devido à incapacidade de lidar com as degradações térmicas específicas.
  • O erro de trajetória (ATE) foi significativamente menor nas sequências difíceis em comparação com todos os baselines.

• Restauração de Imagem:

  • Após refinamento offline, o TRGS-SLAM alcançou métricas de qualidade (LPIPS) competitivas com o estado da arte (TRNeRF), que utiliza poses verdadeiras de SfM estéreo. Em algumas sequências, superou o TRNeRF.

• Eficiência:

  • O sistema consome pouca memória de GPU (pico de ~423 MiB) devido à natureza escalar das intensidades e ao controle do número de gaussianas.
  • A taxa de quadros (FPS) é de 1-4 Hz, o que não é tempo real para movimentos muito rápidos, mas é suficiente para mapeamento offline ou em velocidades moderadas.

5. Significado e Impacto

O TRGS-SLAM representa um avanço significativo na robótica para ambientes hostis. Ao demonstrar que é possível realizar SLAM robusto em câmeras térmicas de baixo custo (microbolômetros) sem a necessidade de filtros de ruído de fábrica (que muitas vezes quebram o modelo da câmera) e sem poses verdadeiras, o trabalho abre caminho para:

• Resgate e Busca: Robôs operando em incêndios, escombros ou ambientes com fumaça onde câmeras RGB falham.
• Navegação Autônoma: Em condições de baixa visibilidade ou iluminação variável.
• Avanço Metodológico: A integração de modelos físicos de degradação de sensor diretamente em sistemas de SLAM baseados em 3DGS serve como um paradigma para lidar com outros tipos de sensores degradados ou não convencionais.

Em suma, o trabalho resolve o "problema do ovo e da galinha" em SLAM térmico: permite estimar a pose e o mapa simultaneamente, mesmo quando a imagem de entrada é tão degradada que métodos tradicionais não conseguem extrair características.