Resumo Técnico: DAPETR (Distortion-Aware PETR) para Detecção de Objetos em BEV com Câmeras Mistas Pinhole–Fisheye

Declaração do Problema

Sistemas de percepção para direção autônoma utilizam cada vez mais configurações de câmeras mistas, combinando câmeras pinhole padrão com câmeras fisheye de campo de visão (FOV) ultra-amplo para alcançar uma cobertura de 360° de forma econômica. No entanto, a detecção de objetos 3D nessas configurações enfrenta um desafio fundamental: a severa distorção radial inerente às lentes fisheye viola a suposição de amostragem uniforme que sustenta a maioria das estruturas de detecção em Bird's Eye View (BEV).

Embora métodos sem projeção (projection-free), como o PETR, ofereçam eficiência computacional ao evitar transformações geométricas explícitas, eles dependem de priors espaciais aprendidos codificados via embeddings de posição 3D. Quando aplicados a imagens fisheye, a correspondência entre os recursos da imagem 2D e as localizações espaciais 3D deteriora-se devido à sensibilidade da calibração e ao colapso geométrico, levando a uma degradação significativa do desempenho. As soluções existentes frequentemente dependem da retificação de imagem (introduzindo perda de informação) ou de reparametrização geométrica explícita (ex: coordenadas polares), mas esta última não foi sistematicamente explorada para detectores sem projeção. Além disso, há uma carência de benchmarks de mundo real amplamente adotados para detecção BEV incorporando câmeras fisheye.

Metodologia: DAPETR (Distortion-Aware PETR)

Os autores propõem o DAPETR, um detector BEV sem projeção adaptado para configurações mistas pinhole–fisheye. Em vez de retificar imagens ou depender apenas de transformações geométricas explícitas, o DAPETR integra dois módulos adaptativos aprendidos para harmonizar as representações de imagem com a geometria fisheye:

1. Embeddings de Posição Unificados e Sensíveis à Distorção:

   • O framework adota o modelo de câmera Multi-Equivalent Imaging (MEI) para unificar as projeções pinhole e fisheye.
   • Ele substitui a geração de coordenadas 3D padrão por um processo de geração de raios sensível à distorção. Para tokens de imagem 2D, é introduzido um codificação posicional híbrida que combina coordenadas de grade padrão com coordenadas polares ($r, \theta$) derivadas dos raios 3D não projetados em uma esfera unitária. Isso codifica explicitamente a natureza não linear da projeção fisheye nos tokens de recursos 2D.
   • Para queries 3D, a codificação de posição é gerada desprojetando pixels para coordenadas 3D usando o modelo MEI, garantindo que os embeddings posicionais 3D estejam cientes da distorção da lente.

2. Co-Modulação Bidirecional de Recurso-Geometria (FPECoM):

   • Este módulo utiliza Modulação Linear por Características (FiLM) para permitir o refinamento mútuo entre os recursos da imagem e os embeddings de posição.
   • Estágio 1: Os recursos da imagem são modulados com base em mapas de distorção derivados de raios 3D desprojetados (convertidos para coordenadas esféricas). Parâmetros de escala ($\gamma_d$) e viés ($\beta_d$) são gerados para adaptar os recursos visuais às condições específicas de distorção.
   • Estágio 2: Os recursos da imagem modulados pela distorção são então usados para guiar os embeddings posicionais 3D. Fatores sensíveis aos recursos ($\gamma_a, \beta_a$) são derivados para refinar os embeddings posicionais.
   • Esta abordagem bidirecional permite que o mecanismo de atenção aprenda como a distorção geométrica e a aparência visual influenciam conjuntamente o raciocínio espacial, criando uma correspondência robusta entre recurso e geometria.

Os autores também reformulam o PETR para operar em coordenadas polares (PolarPETR) como um baseline para comparação, convertendo as queries 3D e as codificações de posição de coordenadas cartesianas para cilíndricas.

Principais Contribuições

• Embeddings Unificados Sensíveis à Distorção: O desenvolvimento de embeddings posicionais unificados tanto para tokens de pixels 2D quanto para recursos sensíveis à posição 3D usando o modelo de câmera MEI, harmonizando as representações de imagem com a geometria fisheye para uma atenção cruzada robusta.
• Co-Modulação Bidirecional: A introdução de um módulo que adapta mutuamente as representações de imagem sensíveis à distorção e os embeddings posicionais 3D, permitindo um melhor alinhamento entre aparência-geometria através de raciocínio espacial conjunto.
• Comparação Sistemática e Insights: A primeira comparação sistemática entre o alinhamento geométrico explícito (PolarPETR) e a adaptação de recursos aprendida. O estudo revela uma interação negativa ao combinar ambas as estratégias, sugerindo que a adaptação aprendida e a reparametrização geométrica explícita podem ser escolhas de design concorrentes em vez de complementares.

Resultados Experimentais

O método foi avaliado em um benchmark KITTI-360 convertido, que apresenta 2 câmeras pinhole frontais e 2 câmeras fisheye laterais, convertido para o formato nuScenes para avaliação padronizada.

• Desempenho: O DAPETR alcançou um novo estado da arte na configuração nativa de câmeras mistas, atingindo 0,286 mAP e 0,306 NDS. Isso superou o baseline padrão do PETR (0,272 mAP), o PolarPETR de geometria explícita (0,280 mAP) e métodos baseados em projeção como BEVFormer (0,184 mAP) e BEVDet (0,121 mAP).
• Eficiência: O mecanismo sensível à distorção introduziu apenas um overhead computacional nominal (0,57M de parâmetros adicionais e 4,67 GFLOPs na cabeça de detecção), mantendo uma velocidade de inferência competitiva de 6,8 FPS (comparado a 7,0 FPS para o PETR).
• Estudos de Ablação:
  • Representação Polar: O alinhamento explícito do espaço de query com a distorção radial melhorou o desempenho (+1,6 m de mAP sobre o baseline).
  • Co-Modulação: A modulação espacial e a modulação guiada por recursos (usando FiLM) superaram significativamente as camadas SE padrão.
  • Conflito de Interação: Combinar a co-modulação aprendida com a representação polar explícita resultou em uma queda de desempenho de 0,8 mAP, confirmando o conflito entre as duas estratégias.
  • Posicionamento: O FiLM espacial apresentou melhor desempenho quando colocado na cabeça de detecção, em vez de no backbone ou no neck, contrariando a hipótese de que a modulação precoce seria melhor.
• Robustez: O DAPETR demonstrou resiliência superior em cenários de falha de câmera. Em um cenário onde ambas as câmeras frontais falharam (deixando apenas as visões fisheye), o DAPETR manteve 17,45% de mAP, enquanto o baseline PETR colapsou para 3,86%.

Significância e Alegações

O artigo afirma que o DAPETR avança significativamente a pesquisa e o benchmark para detecção BEV com fisheye ao fornecer uma solução que opera sem retificação de imagem, preservando assim o campo de visão total e a informação da imagem.

Um insight crítico fornecido pelo trabalho é que a adaptação de recursos aprendida e a reparametrização geométrica explícita não são necessariamente complementares. Os autores descobriram que combinar módulos aprendidos sensíveis à distorção com a reparametrização de coordenadas polares explícita leva a uma interação negativa, provavelmente porque os módulos aprendidos já criam uma correção implícita que se torna redundante ou contraproducente quando aplicada a um espaço explicitamente deformado.

O trabalho estabelece que arquiteturas sem projeção, quando adequadamente adaptadas com módulos sensíveis à distorção, podem superar métodos tradicionais baseados em projeção em sistemas de câmeras mistas. Ele fornece orientação de design crítica para a futura percepção 3D sensível à distorção, enfatizando a importância da adaptação aprendida sobre a deformação geométrica explícita em certos contextos. Os autores observam que, embora o método avance o estado da arte, desafios permanecem na detecção de objetos pequenos (ex: pedestres) e na generalização para diferentes conjuntos de dados.