eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles

O artigo apresenta o eStonefish-Scenes, um conjunto de dados sintético de fluxo óptico baseado em eventos para veículos subaquáticos, validado em cenários reais e acompanhado pela biblioteca eWiz, demonstrando que modelos treinados exclusivamente com dados simulados alcançam transferência eficaz sim-para-real sem necessidade de ajuste fino.

O essencial

Imagine que você está tentando ensinar um robô subaquático a "ver" e navegar pelo fundo do mar. O problema é que o mar é um lugar difícil: a água é turva, a luz é escassa e as coisas se movem rápido. As câmeras normais (como a do seu celular) ficam confusas nesse ambiente, gerando imagens borradas e cheias de ruído.

Aqui entra a câmera de eventos. Pense nela não como uma câmera que tira fotos (quadros), mas como um sistema nervoso super-rápido. Em vez de gravar tudo o que vê, ela só "dispara" um sinal elétrico quando algo muda de cor ou brilho. É como se ela fosse um guarda que só grita "ALERTA!" quando vê movimento, ignorando tudo o que está parado. Isso a torna perfeita para ambientes rápidos e escuros.

O problema? Para ensinar uma inteligência artificial (IA) a usar essa câmera, precisamos de muitos exemplos de como ela deve reagir. Mas gravar esses exemplos no fundo do mar é caro, difícil e perigoso. É como tentar ensinar alguém a pilotar um submarino apenas jogando-o no oceano sem instrução.

É aí que entra o trabalho dos autores deste artigo, o eStonefish-Scenes.

A Solução: Um "Simulador de Voo" para o Fundo do Mar

Os pesquisadores criaram um mundo virtual (um simulador) chamado Stonefish. Dentro desse mundo, eles construíram:

1. Recifes de Coral Digitais: Um gerador automático que cria recifes coloridos e cheios de vida, sem precisar que alguém coloque cada coral manualmente.
2. Cardumes de Peixes: Um sistema que faz grupos de peixes nadarem juntos de forma realista, reagindo ao robô e aos obstáculos, como se tivessem vida própria.
3. O Robô: Um veículo subaquático virtual equipado com essa câmera especial de eventos.

Eles rodaram milhares de simulações onde o robô navegava por esses recifes virtuais. Como é um computador, eles sabem exatamente para onde o robô está indo e o que a câmera "deveria" ver. Isso gera um manual de instruções perfeito (dados com "verdade absoluta") para treinar a IA.

A Ferramenta: O "Kit de Montagem" (eWiz)

Para que outros cientistas não precisem reinventar a roda, eles criaram uma biblioteca chamada eWiz.

• Analogia: Imagine que os dados brutos da câmera de eventos são como um monte de peças de Lego soltas e bagunçadas. O eWiz é a caixa organizadora que separa as peças, ensina como montá-las, como pintar o modelo e como testar se a construção ficou firme. Ele transforma dados complexos em algo que qualquer programador pode usar facilmente.

O Grande Teste: Do Virtual para o Real

A parte mais impressionante é que eles não pararam no computador. Eles quiseram provar que o que aprenderam no simulador funcionava na vida real.

1. O Experimento: Eles pegaram um robô real (um BlueROV2) e uma câmera de eventos real, levaram para uma piscina de testes e nadaram por cima de um pôster gigante no fundo da piscina (que servia como um "chão" com textura para a câmera ver).
2. A Medição: Eles calcularam a velocidade e direção do robô de forma muito precisa, criando uma "verdade real" para comparar.
3. O Resultado: Eles pegaram uma IA que só foi treinada no mundo virtual (nunca viu a piscina real) e a colocaram para rodar na piscina.
   • O Veredito: A IA funcionou muito bem! Ela conseguiu prever o movimento e a direção do robô com alta precisão, mesmo sem ter sido treinada com dados reais.

Por que isso é importante?

Pense nisso como um simulador de voo para pilotos. Antes, para treinar um piloto de avião, você precisava arriscar vidas e gastar muito combustível em voos reais. Agora, com simuladores avançados, você pode treinar o piloto para lidar com tempestades e falhas no computador, e quando ele sobe no avião real, ele já sabe o que fazer.

Este trabalho faz o mesmo para robôs subaquáticos:

• Economiza dinheiro: Não precisa gastar milhões em expedições reais para coletar dados.
• Salva tempo: Gera milhares de horas de treinamento em minutos no computador.
• É seguro: Permite treinar robôs para situações perigosas sem risco de perder o equipamento.

Em resumo, os autores criaram um laboratório virtual perfeito para ensinar robôs a "enxergar" no fundo do mar, provaram que o aprendizado virtual funciona na vida real e deram a todos as ferramentas (o eWiz) para continuarem essa pesquisa. É um passo gigante para que nossos robôs possam explorar os oceanos de forma mais autônoma e inteligente.

Resumo técnico

1. O Problema

O uso de câmaras baseadas em eventos (Event-Based Cameras - EBCs) tem o potencial de revolucionar a robótica subaquática devido às suas vantagens sobre câmaras de quadro tradicionais: alta resolução temporal, alto alcance dinâmico, ausência de desfoque de movimento e baixa latência. No entanto, o avanço de tarefas críticas como odometria visual e evasão de obstáculos em ambientes subaquáticos é severamente limitado pela escassez de conjuntos de dados rotulados para EBCs nesse domínio.

• Desafios na Coleta Real: A coleta de dados reais é cara, demorada e difícil de realizar devido a condições de iluminação precárias, turbidez da água e dispersão de luz. Além disso, obter "ground truth" (verdadeira referência) de fluxo óptico em ambientes subaquáticos é extremamente complexo.
• Limitações de Dados Sintéticos Existentes: Conjuntos de dados sintéticos anteriores (como UEOF) muitas vezes dependem de conversão pós-processada de vídeo (video-to-event) ou não integram a dinâmica do robô com a resposta do sensor, falhando em capturar a interação autêntica entre a hidrodinâmica do veículo e o sensor.

2. Metodologia

Os autores propõem uma abordagem completa que abrange a geração de dados sintéticos, a criação de ferramentas de processamento e a validação sim-to-real (simulação para realidade).

A. Geração de Dados Sintéticos (eStonefish-Scenes)

• Simulador: O dataset foi gerado utilizando o simulador Stonefish, que integra nativamente a câmara de eventos no ambiente de simulação, garantindo que a resposta temporal do sensor esteja acoplada à dinâmica do veículo (ROV).
• Ambiente e Cenários:
  • Stonefish-SceneGen: Um gerador de cenas automatizado que popula o fundo do mar com recifes de coral realistas e diversos, variando tamanhos e poses.
  • Stonefish-Boids: Um pacote que simula cardumes de peixes com comportamentos reativos (alinhamento, coesão, separação e atração pelo líder), adicionando elementos dinâmicos complexos às cenas.
  • Configurações: O dataset inclui sequências estáticas e dinâmicas, com câmaras em configurações "olhando para frente" (para navegação/obstáculos) e "olhando para baixo" (para odometria), cobrindo texturas de rochas e recifes.
• Resolução: Mantém a resolução nativa do sensor DAVIS346 (346 × 260 pixels), crucial para redes neurais leves em hardware embarcado.

B. Pipeline de Dados e Ferramentas (eWiz)

Foi desenvolvida a biblioteca eWiz, um framework abrangente para processamento de dados baseados em eventos, incluindo:

• Armazenamento Otimizado: Uso de arquivos HDF5 com compressão Blosc para lidar com o alto volume de dados de eventos, permitindo acesso rápido e slicing sem carregar tudo na memória.
• Codificação e Aumento: Suporte para esquemas de codificação (Gaussiano, contagem de eventos) e técnicas de aumento de dados (distorção temporal, ruído, espelhamento).
• Funções de Perda e Métricas: Implementação de funções de perda para redes CNN e SNN (Spiking Neural Networks), incluindo perda fotométrica, suavidade e maximização de contraste.

C. Validação Sim-to-Real

Para validar a transferibilidade dos dados sintéticos para a realidade:

• Coleta Real: Dados foram coletados num tanque de testes indoor com um ROV BlueROV2 equipado com uma câmara híbrida DAVIS346.
• Ground Truth: O fluxo óptico de referência foi calculado através de registro homográfico (frame-to-poster) de um poster texturizado no fundo do tanque.
• Estimativa de Incerteza: Um método de Monte Carlo foi utilizado para perturbar as correspondências de pontos-chave, gerando mapas de incerteza por pixel. Essas incertezas foram incorporadas nas métricas de avaliação para criar uma avaliação ponderada pela confiança, evitando penalizar excessivamente regiões ambíguas.

3. Principais Contribuições

1. eStonefish-Scenes: O primeiro conjunto de dados de fluxo óptico baseado em eventos especificamente para ambientes subaquáticos, gerado sinteticamente com acoplamento robô-sensor.
2. Ferramentas de Geração: Desenvolvimento de Stonefish-SceneGen (recifes) e Stonefish-Boids (cardumes) para criar ambientes subaquáticos realistas e dinâmicos.
3. Biblioteca eWiz: Uma biblioteca Python open-source para manipulação, codificação, visualização e treinamento de dados baseados em eventos, compatível com PyTorch e Tonic.
4. Framework de Avaliação Incerta: Uma metodologia de validação real que utiliza estimativas de incerteza por pixel para métricas de erro ponderadas, superando as limitações de limiares fixos de outliers.
5. Validação Sim-to-Real: Demonstração de que um modelo treinado exclusivamente em dados sintéticos pode generalizar para dados reais sem fine-tuning.

4. Resultados

Um modelo de rede neural baseado em ConvGRU foi treinado exclusivamente no dataset sintético e avaliado nos dados reais sem qualquer ajuste adicional (fine-tuning).

• Desempenho Sintético: No conjunto de teste sintético, o modelo alcançou um Erro de Ponto Final Médio (AEE) de 0,636 pixels e um Erro Angular Médio (AAE) de 0,173 radianos.
• Desempenho Real (Sim-to-Real): Ao ser testado no dataset real, o modelo alcançou um AEE ponderado pela incerteza de 0,79 pixels e um AAE de 0,2 radianos.
• Qualidade: Os resultados qualitativos mostraram que a rede consegue capturar com precisão os padrões de movimento dominantes e a estrutura do fluxo, mesmo em condições reais com ruído e imperfeições no ground truth.

5. Significado e Impacto

Este trabalho é fundamental para a comunidade de robótica subaquática e visão baseada em eventos porque:

• Reduz a Barreira de Entrada: Elimina a necessidade de coletar dados reais caros e complexos para treinar algoritmos de fluxo óptico subaquático.
• Valida a Transferência: Prova que a natureza binária e de mudança de brilho das câmaras de eventos facilita a transferência sim-to-real, pois o domínio sintético e real compartilham características de representação mais simples do que imagens RGB.
• Inovação Metodológica: Introduz uma nova forma de avaliar o desempenho em dados reais através da incorporação de mapas de incerteza, oferecendo uma métrica mais robusta e realista para cenários onde o ground truth perfeito é inatingível.
• Ecossistema Aberto: Ao disponibilizar o dataset, o pipeline de geração e a biblioteca de processamento, os autores aceleram a pesquisa em veículos subaquáticos autônomos (AUVs) e robótica subaquática.