Rate-Distortion Analysis of Optically Passive Vision Compression

Resumo Técnico: Análise de Taxa-Distorção de Compressão de Visão Opticamente Passiva

Definição do Problema
Sistemas autônomos que dependem de sensores de visão remota enfrentam desafios significativos na transmissão de dados visuais de alto volume e alta dimensionalidade através de canais com recursos limitados em tempo real. Este problema é exacerbado em aplicações de robótica e controle (por exemplo, manobras acrobáticas ou desvio de colisão em alta velocidade) onde requisitos estritos de latência necessitam de altas frequências de amostragem. Embora os codecs de vídeo padrão (por exemplo, H.264) e os autoencoders baseados em aprendizado profundo ofereçam soluções de compressão, eles introduzem uma complexidade computacional substancial devido às intrincadas compensações de movimento, transformadas de cosseno discreta (DCT) e camadas convolucionais. Os autores propõem um novo paradigma de sensoriamento para abordar o compromisso entre eficiência de transmissão e carga computacional ao permitir a compressão de vídeo de alta velocidade e livre de computação.

Metodologia
O artigo apresenta a Compressão de Visão Opticamente Passiva (OPVC), um esquema onde uma câmera de eventos observa a transformada de cosseno opticamente gerada de uma cena visual. A metodologia baseia-se em dois componentes primários:

1. Transformada de Cosseno Óptica: Utilizando óptica de Fourier, o sistema posiciona uma transparência planar à frente de uma lente convergente. Ao iluminar a cena com uma onda plana coerente e utilizar um sistema de espelhos e divisores de feixe para criar uma extensão par da imagem, o campo óptico no plano focal posterior corresponde à transformada de Fourier da cena. Para funções reais e pares, esta transformada é equivalente à transformada de cosseno. O sistema sobrepõe uma onda plana de referência para facilitar a recuperação de fase binária, permitindo que a medição de intensidade recupere a transformada sem computação ativa.
2. Codificação por Câmera de Eventos: Uma câmera de eventos registra assincronamente mudanças na log-intensidade em vez de quadros completos. Os pixels disparam apenas quando o desvio na log-intensidade excede um limiar $\delta$, gerando pacotes de Representação de Endereço-Evento (AER) contendo posição do pixel, carimbo de tempo e polaridade.
3. Estrutura de Simulação: Para avaliar o sistema, os autores desenvolveram um simulador de câmera de eventos sem ruído. O processo envolve:
   • Converter vídeo baseado em quadros em escala de cinza para o espaço de log-intensidade.
   • Para o esquema OPVC: Aplicar uma Transformada de Cosseno Discreta (DCT) 2D para simular a transformada óptica, deslocando o resultado para garantir positividade (imitando a onda de referência) e passando para o simulador de câmera de eventos. O decodificador subtrai o deslocamento e aplica a DCT inversa.
   • Para a Câmera de Eventos Independente (SAEC): Passar diretamente o vídeo de log-intensidade para o simulador de câmera de eventos.
   • Reconstrução: O decodificador integra o fluxo de eventos usando a log-intensidade inicial (assumida como conhecida) e as polaridades dos eventos para reconstruir a cena.
   • Avaliação: Os autores computam curvas de taxa-distorção utilizando o conjunto de dados Ultra Video Group (UVG) através de múltiplas resoluções espaciais. A "taxa" é definida como a taxa de amostragem (eventos por pixel por segundo), e a "distorção" é medida usando Similaridade Estrutural Multiescala (MS-SSIM).

Principais Contribuições

• Novo Paradigma de Sensoriamento: A proposta de um esquema de compressão em nível de hardware que realiza a transformada de cosseno opticamente, eliminando a complexidade computacional associada a codecs de vídeo digitais e ao processamento padrão de câmeras de eventos.
• Análise de Taxa-Distorção: Um estudo comparativo demonstrando que o esquema OPVC alcança um desempenho de taxa-distorção superior em comparação com uma câmera de eventos independente (SAEC).
• Escalonamento de Resolução: A descoberta de que a diferença de desempenho entre OPVC e SAEC aumenta conforme a resolução espacial da câmera de eventos aumenta. Isso é atribuído à capacidade da transformada de cosseno óptica de concentrar a energia da imagem no domínio de baixa frequência, filtrando efetivamente informações de alta frequência que, de outra forma, gerariam eventos excessivos em uma SAEC padrão.

Resultados
Resultados de simulação no conjunto de dados UVG indicam que, em qualquer limiar de distorção dado, o esquema OPVC requer uma taxa de amparagem por pixel menor do que a SAEC.

• Lacuna de Desempenho: A vantagem da OPVC sobre a SAEC não é estática; ela aumenta conforme a resolução espacial do sensor aumenta. Em resoluções mais baixas, o subamostragem espacial inerentemente filtra informações de alta frequência, diminuindo o benefício relativo da filtragem óptica.
• Diferenças Qualitativas: Enquanto as reconstruções da SAEC tendem a reter bordas nítidas, mas sofrem com artefatos de movimento devido ao movimento de bordas de alto contraste, as reconstruções da OPVC exibem menos artefatos de movimento, mas parecem ter ruído de alta frequência e bordas nítidas borradas. Este borrão ocorre porque a transformada óptica concentra a energia no domínio de baixa frequência, fazendo com que a câmera de eventos filtre detalhes de alta frequência.
• Robustez: Os autores observam que, embora tenham assumido um ambiente sem ruído e conhecimento de quadros iniciais para este estudo, a inclusão de ruído de sensor e quadros de referência periódicos em trabalhos futuros seria necessária para avaliar a robustez no mundo real.

Significância e Alegações
O artigo afirma que o esquema OPVC proposto oferece uma alternativa de alta velocidade e computacionalmente mínima para compressão de visão, particularmente adequada para o controle de malha fechada de sistemas de alta velocidade, onde latência e recursos computacionais são críticos. Os autores enfatizam que seus resultados representam um cenário ideal (sem ruído, conhecimento perfeito do quadro inicial). Eles enquadram modestamente o trabalho como uma prova de conceito, sugerindo que estudos futuros devem abordar o ruído do sensor, conversões de maior fidelidade de vídeos baseados em quadros para dados de eventos, e os compromissos específicos de taxa-distorção introduzidos pela necessidade de quadros de inicialização periódicos. O trabalho posiciona-se como um passo para permitir uma compressão eficiente baseada em hardware que aproveita as propriedades físicas da luz para reduzir a carga de dados nos canais de comunicação.