💻 computer science

Towards Robust Driving Perception: A Flexible Scale-Driven Family for Self-Supervised Monocular Depth Estimation

O artigo apresenta o FlexDepth, uma família de modelos de estimativa de profundidade monocular autossupervisionada, flexível e orientada por escala, que utiliza uma estratégia de treinamento desacoplada estático-dinâmico e um Decodificador Orientado por Escala para alcançar desempenho de estado da arte e eficiência em tempo real em dispositivos automotivos de borda com recursos limitados, sem a necessidade de informações de verdade fundamental ou informações auxiliares.

Autores originais: Zhaowen Zhu, Li Zhang, Yujie Chen, Tian Zhang, Yingjie Wang, Mingxia Zhan

Publicado 2026-07-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhaowen Zhu, Li Zhang, Yujie Chen, Tian Zhang, Yingjie Wang, Mingxia Zhan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar a que distância tudo está em uma sala, mas tem apenas um olho (uma única câmera) e nenhuma régua. Este é o desafio da Estimativa de Profundidade Monocular. Para carros autônomos, isso é como tentar navegar em uma rodovia movimentada usando apenas um feed de vídeo, sem saber exatamente a que distância os carros ou pedestres estão.

Durante muito tempo, os computadores tiveram dificuldades com isso, especialmente quando as coisas estavam se movendo. Se um carro passasse, o computador ficava confuso porque assumia que o mundo inteiro estava parado. Além disso, tornar esses computadores inteligentes o suficiente para enxergar claramente geralmente significava torná-los enormes e lentos, como tentar rodar um supercomputador na bateria minúscula de um smartphone.

O artigo apresenta uma nova família de modelos de IA chamada FlexDepth. Pense no FlexDepth como um conjunto de "óculos inteligentes e adaptáveis" para carros autônomos que vem em cinco tamanhos diferentes, desde um par minúsculo de óculos de leitura (Flex-Nano) até um par pesado de binóculos (Flex-X-Large). Não importa o tamanho, eles são projetados para serem rápidos, precisos e resistentes o suficiente para lidar com o caos da direção no mundo real.

Aqui está como eles fizeram isso funcionar, explicado de forma simples:

1. O Decodificador "Baseado em Escala" (O Upscaler Inteligente)

Imagine que você está tentando desenhar o mapa de uma cidade. Se você apenas esticar um esboço pequeno e borrado para torná-lo grande, as bordas dos edifícios parecerão nebulosas e as estradas parecerão instáveis. A IA tradicional faz isso; ela tenta aumentar a imagem usando matemática simples, o que borra os detalhes.

O FlexDepth usa uma ferramenta especial chamada Decodificador Baseado em Escala (SDD). Em vez de apenas esticar a imagem, esta ferramenta atua como uma equipe de construção dinâmica.

Para modelos pequenos (como o Flex-Nano): Ele utiliza uma equipe leve e eficiente que foca na velocidade, garantindo que o carro não sofra atrasos (lag).
Para modelos grandes (como o Flex-X-Large): Ele traz uma equipe mais detalhada que presta atenção extra às bordas dos objetos e texturas.
A Magia: Ele não apenas adivinha onde as bordas estão; ele "reamostra" ativamente a imagem, observando o conteúdo para decidir exatamente onde colocar os pixels. Isso mantém os contornos de carros e árvores nítidos, mesmo quando a imagem está sendo ampliada.

2. O Treinamento de "Dois Estágios" (O Treino Estático vs. Dinâmico)

Um dos maiores problemas para a IA de direção autônoma é os objetos em movimento. Se um carro passar, a IA pode pensar que o mundo inteiro está se movendo, ou pode ficar confusa sobre a que distância aquele carro está.

Os autores resolveram isso com uma estratégia de treinamento de dois estágios, que é como um treino de duas partes para o estudante de IA:

Estágio 1 (O Básico): A IA aprende a entender o mundo e como a câmera se move, como um aluno aprendendo as regras da estrada.
Estágio 2 (O Teste de "Encontre as Diferenças"): A IA é apresentada à mesma cena no início de seu treinamento e no final.
- Coisas estáticas (como prédios e árvores) parecem iguais em ambas as versões. A IA aprende a confiar nelas.
- Coisas dinâmicas (como outros carros ou pessoas) parecem diferentes porque se moveram. A IA aprende a dizer: "Espere, esta parte mudou! Eu não devo confiar meu palpite de profundidade para este objeto em movimento ainda".

Ao separar o mundo "parado" do mundo "em movimento", a IA aprende a ignorar o movimento confuso e a focar em acertar a profundidade do plano de fundo estável, o que na verdade ajuda a entender melhor os objetos em movimento também.

3. Os Resultados: Rápido, Leve e Nítido

O artigo afirma que o FlexDepth é uma "família" de modelos que pode caber em qualquer carro, desde um sensor barato até um veículo autônomo de alto padrão.

O Modelo Minúsculo (Flex-Nano): É incrivelmente leve, exigindo apenas 0,7 GFLOPs (uma medida de poder de computação). Ele pode rodar a 37,6 quadros por segundo em chips móveis. Isso é como ter um corredor superveloz que consegue acompanhar o tráfego sem se cansar.
O Modelo Grande (Flex-X-Large): É o mais preciso, superando quase todos os outros modelos em testes padrão de direção (KITTI e Cityscapes), sendo ainda mais rápido que muitos concorrentes "pesados".
Sem Trapaças: Ao contrário de outros métodos que precisam de sensores extras (como sensores de fluxo) ou rótulos pré-definidos para aprender, o FlexDepth aprende inteiramente sozinho a partir de filmagens, apenas observando como o mundo muda.

Resumo

Em suma, o artigo apresenta o FlexDepth, um sistema flexível que permite que carros autônomos "vejam" a profundidade de forma clara e rápida. Ele utiliza um decodificador inteligente e adaptável para manter as bordas nítidas e um método de treinamento de dois passos para impedir que carros em movimento confundam o sistema. Quer o carro precise de um processador minúsculo e rápido ou de um poderoso, o FlexDepth escala para cima ou para baixo para fornecer uma visão clara e segura da estrada.

Resumo Técnico: FlexDepth – Uma Família Flexível Orientada por Escala para Estimativa de Profundidade Monocular Autossupervisionada

1. Declaração do Problema

A Estimativa de Profundidade Monocular (MDE) Autossupervisionada é crítica para a condução autónoma e robótica devido à sua independência de rótulos de profundidade (ground-truth) densos. No entanto, as abordagens existentes enfrentam limitações significativas em ambientes de condução complexos:

Compromisso entre Escala e Robustez: A maioria dos modelos leves baseia-se em designs de escala única ou decodificadores simplificados, o que leva à degradação do desempenho em cenas dinâmicas (ex: veículos e peões em movimento) e a uma fraca fidelidade estrutural nas fronteiras dos objetos.
Complexidade do Tratamento Dinâmico: Métodos concebidos para lidar com objetos dinâmicos introduzem frequentemente uma complexidade excessiva, tarefas auxiliares (ex: fluxo ótico, segmentação semântica) ou backbones pesados (ex: Vision Transformers), tornando-os inadequados para dispositivos de borda (edge) com recursos limitados.
Limitações de Modelos de Fundação: Embora os modelos de fundação supervisionados (ex: Depth Anything V2) ofereçam uma forte generalização zero-shot, a sua dependência de conjuntos de dados massivos e requisitos computacionais elevados dificulta a implementação em cenários automóveis em tempo real e baseados em edge.

O desafio central abordado é como estreitar a lacuna de robustez entre modelos autossupervisionados leves e grandes modelos supervisionados, mantendo a eficiência de dados e a capacidade de implementação em hardware de borda.

2. Metodologia

Os autores propõem o FlexDepth, uma família de modelos de MDE autossupervisionados orientados por escala, adaptados para cenários de condução dinâmica. A arquitetura consiste em três inovações primárias:

A. Decodificador Orientado por Escala (SDD)

Ao contrário dos decodificadores tradicionais que utilizam pipelines fixos (pré-convolução $\to$ upsampling $\to$ concatenação), o FlexDepth introduz um decodificador que seleciona componentes de forma adaptativa com base na escala do modelo (Nano, Small, Medium, Large, X-Large).

Design de Pós-Convolução: Os autores removeram a etapa de pré-convolução para evitar a perda irreversível de informação semântica global. Em vez disso, focam-se em pós-convolução ( $C$ $C$ ), upsampling ( $U$ $U$ ) e cabeças de predição ( $P$ $P$ ).
- Escalas Pequenas (Nano/Small): Utilizam Bottlenecks de Alta Eficiência (HEB) para garantir a estabilidade do fluxo de gradiente e uma ordem tradicional de cabeça de predição.
- Escalas Grandes (Medium/X-Large): Utilizam Bottlenecks de Alto Desempenho (HPB) com estruturas Cross Stage Partial (CSP) para uma captura de características locais mais fina e uma cabeça de predição invertida (upsampling antes da predição) para aproveitar a consistência de canais elevados.
Upsampling Dinâmico ( $U$ ): Substitui a interpolação bilinear padrão por um processo de dois estágios: geração de offsets e reamostragem dinâmica. Uma camada convolucional prevê os offsets ( $\Delta P$ ) com base no conteúdo semântico, permitindo que o modelo amostre adaptativamente localizações ótimas a partir dos mapas de características, resultando em fronteiras de objetos mais nítidas.

B. Treino Desacoplado Estático-Dinâmico em Dois Estágios

Para abordar a instabilidade causada por objetos em movimento sem depender de priors externos, o FlexDepth utiliza uma estratégia de treino de dois estágios:

Estágio 1 (Otimização Conjunta): Treina simultaneamente a Rede de Predição de Profundidade e o PoseNet (baseado em ResNet-18) utilizando erro de reprojeção fotométrica padrão, erro de reprojeção mínimo e perda de suavidade sensível a bordas (edge-aware smoothness loss).
Estágio 2 (Refinamento Dinâmico): Aproveita a observação de que regiões dinâmicas exibem uma alta instabilidade preditiva (variância entre épocas iniciais e finais de treino) em comparação com fundos estáticos.
- Uma Máscara Desacoplada Estático-Dinâmica ( $M$ ) é gerada comparando os mapas de disparidade das épocas inicial e final do Estágio 1.
- Uma função de limiar adaptativo $g(\phi(f_{si}, f_{sl}))$ determina a máscara, distinguindo objetos dinâmicos de fundos estáticos com base na evolução das características, em vez de limiares fixos.
- A rede de profundidade é retreinada utilizando esta máscara com uma perda de distribuição normal mascarada e suavização de profundidade geométrica, desacoplando efetivamente o ruído dinâmico da aprendizagem de cena estática.

C. Pipeline de Treino Autossupervisionado

O modelo é treinado inteiramente em sequências de vídeo não rotuladas utilizando consistência fotométrica.

Funções de Perda: Combina erro fotométrico ( $L_p$ ), perda de reprojeção mínima ( $L_r$ ), suavidade sensível a bordas ( $L_{smooth}$ ) e, no Estágio 2, uma perda de distribuição normal mascarada ( $L_m$ ) e suavização de profundidade geométrica ( $L_{GDS}$ ).
Sem Dados Auxiliares: O método opera sem rótulos semânticos, fluxo ótico ou mapas de pseudo-profundidade.

3. Principais Contribuições

Família FlexDepth: Uma família de modelos escalável (de Nano a X-Large) que estuda sistematicamente o compromisso entre precisão e eficiência, alcançando um desempenho de estado da arte (SOTA) em escalas arbitrárias com overhead computacional mínimo.
Decodificador Orientado por Escala (SDD): Uma arquitetura de decodificador inovadora que seleciona dinamicamente tipos de bottleneck (HEB vs. HPB) e estratégias de upsampling com base no tamanho do modelo, equilibrando inferência em tempo real com mapeamento de profundidade de alta precisão.
Treino Desacoplado Estático-Dinâmico: Uma estratégia de dois estágios que isola objetos dinâmicos de fundos estáticos utilizando uma máscara adaptativa derivada da instabilidade de treino, aumentando a robustez em ambientes dinâmicos sem custos adicionais de inferência ou inputs auxiliares.

4. Resultados Experimentais

Os experimentos foram realizados no KITTI, Cityscapes e Make3D (para generalização zero-shot).

Desempenho vs. Eficiência:
- Flex-Nano: Requer apenas 0.7 GFLOPs e alcança 37.6 FPS em plataformas móveis (Snapdragon 8 Elite), superando as variantes Tiny e Small do Lite-Mono em precisão, sendo significativamente mais leve.
- Flex-X-Large: Define um novo SOTA no KITTI e Cityscapes com 24.6 GFLOPs, superando modelos mais pesados como o MonoVit (59.7 GFLOPs) e o DSI-MonoViT.
Robustez em Cenas Dinâmicas: No Cityscapes, o Flex-X-Large alcança uma precisão superior em regiões dinâmicas (Abs Rel 0.091) comparado com métodos que dependem de pistas auxiliares (ex: ProDepth, DSI-MonoViT), apesar de não utilizar informação extra.
Generalização Zero-Shot: O modelo treinado no KITTI demonstra forte transferibilidade para o dataset Make3D, superando outros métodos autossupervisionados e aproximando-se do desempenho de modelos de fundação maiores em métricas específicas.
Estudos de Ablação: Confirmam que os componentes do SDD (HPB, upsampling dinâmico, cabeça invertida) e a estratégia de treino de dois estágios são críticos para os ganhos de desempenho. Remover o segundo estágio leva a quedas severas de desempenho em cenas dinâmicas.

5. Significância e Alegações

O artigo afirma que o FlexDepth consegue colmatar a lacuna entre a eficiência leve e a perceção robusta em ambientes de condução dinâmica.

Viabilidade de Implementação: Ao alcançar o SOTA com um custo computacional mínimo (ex: 0.7 GFLOPs para o Nano), o FlexDepth permite uma perceção fiável em tempo real em dispositivos de borda automóveis com recursos limitados.
Robustez Intrínseca: O método demonstra que o tratamento robusto de cenas dinâmicas pode ser alcançado através do design arquitetural e da estratégia de treino (desacoplamento estático-dinâmico), em vez de depender de pipelines auxiliares complexos ou backbones pesados.
Complemento aos Modelos de Fundação: Embora reconheça as capacidades superiores de zero-shot dos grandes modelos de fundação (ex: Depth Anything V2), os autores argumentam que o treino autossupervisionado in-domain (como o FlexDepth) oferece vantagens práticas para a implementação em edge devido ao seu menor rasto de recursos e precisão comparável ou superior em contextos de condução específicos.

Limitações: Os autores observam que o FlexDepth foi desenhado especificamente para a perceção de condução e a sua aplicabilidade a ambientes interiores com texturas irregulares e oclusões de curto alcance é limitada.