Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

Os veículos autônomos dependem de um fluxo constante e de alta velocidade de dados para compreender o mundo ao seu redor. Embora as câmeras capturem a riqueza visual de uma cena, elas podem ter dificuldades em condições de baixa luminosidade ou mau tempo. Para compensar, muitos sistemas de condução autónoma utilizam LiDAR, um sensor que dispara pulsos rápidos de luz laser para medir distâncias e construir um mapa tridimensional do ambiente. Este mapa aparece como uma nuvem de milhões de pontos minúsculos, cada um representando uma superfície que o laser atingiu. Para tornar estes dados úteis para a navegação, os computadores devem aprender a identificar a que pertencem esses pontos — aquele aglomerado é um pedestre, um carro ou uma árvore? Além disso, como o veículo está em movimento, o sistema deve rastrear estes objetos ao longo do tempo, conectando os pontos de um momento para o outro para compreender o movimento e a intenção. Este processo, conhecido como segmentação quadridimensional, é a espinha dorsal da condução autónoma segura, mas enfrenta um enorme obstáculo: os dados necessários para ensinar estes sistemas são incrivelmente difíceis e caros de criar.

Para que um computador aprenda a reconhecer objetos numa nuvem de LiDAR, os humanos devem primeiro rotular manualmente milhares de frames, desenhando contornos em torno de cada carro e pessoa em cada uma das nuvens de pontos. Esta é uma tarefa lenta, tediosa e propensa a erros. Como os pontos são esparsos e dispersos no espaço tridimensional, rotulá-los é muito menos intuitivo do que desenhar numa fotografia plana. Como resultado, o progresso destes sistemas é frequentemente limitado não pela inteligência dos algoritmos, mas pela pura falta de dados rotulados de alta qualidade. Os investigadores há muito que se perguntam se existe uma forma de gerar estes dados de treino automaticamente, talvez aproveitando a compreensão visual que os computadores já aprenderam a partir de biliões de imagens e vídeos.

Uma equipa de investigadores da KAIST e da Universidade Chung-Ang deu um passo significativo para responder a essa questão com um novo framework chamado LiDAR-SAM2. O seu trabalho demonstra que é possível criar uma poderosa ferramenta de rotulagem para dados de LiDAR 3D sem que um único humano desenhe uma linha numa nuvem de pontos. Em vez de depender de anotação manual, eles construíram um sistema que traduz as capacidades de um modelo de inteligência artificial baseado em vídeo para a linguagem dos varreduras laser 3D. A ideia central é utilizar um modelo de fundação, um tipo de IA treinada em vastas quantidades de dados de vídeo para rastrear objetos ao longo do tempo, e adaptá-lo para compreender a geometria única dos sensores LiDAR. Ao fazê-lo, transformaram um especialista em vídeo 2D num supervisor de LiDAR 4D.

O processo começa com um conjunto de dados sincronizados: uma sequência de varreduras de LiDAR 3D emparelhada com filmagens de vídeo padrão de câmeras montadas no mesmo veículo. Os investigadores alimentam primeiro o vídeo no modelo de fundação de vídeo, que é excelente a identificar objetos e a acompanhar o seu movimento de frame em frame. Quando um utilizador clica num carro no primeiro frame do vídeo, o modelo rastreia automaticamente esse carro através de toda a sequência de vídeo, criando uma máscara que delineia o veículo em cada frame subsequente. Os investigadores pegam nestes contornos 2D e projetam-nos nos pontos de LiDAR 3D correspondentes. Como a câmera e o sensor laser estão calibrados para saber exatamente como se relacionam entre si, o sistema pode determinar quais os pontos de laser que correspondem aos pixels na máscara de vídeo.

No entanto, simplesmente projetar máscaras 2D em pontos 3D não é suficiente. Uma única câmera não consegue ver o veículo inteiro; pode ver a lateral, mas perder a parte traseira, ou a visão pode ser bloqueada por outro objeto. Para resolver isto, os investigadores desenvolveram um método para combinar as visões de múltiplas câmeras e costurá-las ao longo do tempo. Eles utilizam o movimento conhecido do veículo para projetar o que foi visto no momento anterior no momento atual, preenchendo as lacunas onde a visão da câmera era limitada. Isto cria um conjunto denso e consistente de rótulos para os pontos 3D, gerando efetivamente um conjunto de dados de treino de alta qualidade de forma automática. Estes rótulos gerados, que os investigadores chamam de pseudo-rótulos, são então utilizados para treinar um novo modelo especificamente concebido para compreender dados de LiDAR.

O sistema resultante, o LiDAR-SAM2, atua como uma ferramenta interativa. Um operador humano precisa apenas de clicar num objeto no primeiro frame de uma sequência de LiDAR, e o sistema gera automaticamente um rastro consistente e de alta qualidade para esse objeto ao longo de todo o vídeo. Os investigadores testaram esta abordagem num dataset padrão chamado SemanticKITTI, que contém cenas complexas de condução urbana. Eles descobriram que os rótulos gerados pelo seu sistema eram notavelmente precisos, alcançando altas taxas de precisão e recall. Quando utilizaram estes rótulos gerados automaticamente para treinar modelos de segmentação 3D padrão, os modelos apresentaram um desempenho quase tão bom quanto aqueles treinados em dados que foram meticulosamente rotulados por especialistas humanos. De facto, para tarefas de segmentação semântica, os modelos treinados nos rótulos automáticos atingiram níveis de desempenho que se aproximavam da verdade fundamental (ground truth) totalmente anotada por humanos, apesar do facto de nenhum humano ter rotulado manualmente os pontos de LiDAR utilizados para o treino.

O estudo também explorou a qualidade dos próprios rótulos. Ao visualizar o output, os investigadores mostraram que o sistema produz fronteiras limpas em torno dos objetos e mantém identidades consistentes para carros e pedestres à medida que se movem pela cena. Esta consistência é crucial para a condução autónoma, onde um sistema deve saber que o carro que viu há dez segundos é o mesmo carro que vê agora. Os investigadores demonstraram que este nível de qualidade poderia ser alcançado com um esforço humano mínimo, exigindo apenas alguns cliques por objeto para inicializar o rastreamento. Isto sugere que o pesado fardo da anotação de dados para a compreensão de cenas 3D e 4D pode ser significativamente reduzido, permitindo potencialmente o desenvolvimento rápido de sistemas de percepção mais seguros e capazes sem a necessidade de grandes equipas de rotuladores humanos.

O trabalho desafia explicitamente a noção de que dados de treino 3D de alta qualidade devem sempre vir do trabalho humano. Enquanto tentativas anteriores de segmentação interativa 4D dependiam de datasets anotados por humanos para ensinar o sistema a rastrear objetos, esta nova abordagem minimiza essa dependência, exigindo apenas prompts mínimos. Os investigadores argumentam que, ao aproveitar a compreensão temporal já presente nos modelos de fundação de vídeo, é possível impulsionar um sistema de rotulagem 3D do zero. Eles demonstraram que o seu método não é apenas uma possibilidade teórica, mas uma ferramenta prática que produz dados utilizáveis e de alta fidelidade. Os resultados indicam que a lacuna entre os dados automatizados e os rotulados por humanos está a fechar-se rapidamente, oferecendo um caminho escalável para a próxima geração de sistemas de percepção.

No contexto mais amplo da inteligência artificial, esta investigação destaca uma mudança em direção ao uso de um tipo de modelo poderoso para ensinar outro. Ao tratar um modelo de vídeo 2D como uma fonte de supervisão para dados 3D, a equipa contornou as limitações tradicionais do domínio 3D. Eles não inventaram uma nova forma de ver o mundo; em vez disso, encontraram uma forma de traduzir o que um computador já sabe sobre vídeo para a linguagem das varreduras laser. As conclusões sugerem que o futuro dos dados de condução autónoma poderá não residir na contratação de mais anotadores, mas na construção de pontes mais inteligentes entre diferentes tipos de dados visuais. À medida que a tecnologia amadurece, poderá permitir a criação de datasets vastos e diversos para carros autónomos, tornando a tecnologia mais robusta e acessível. O estudo conclui que, com o framework correto, o sonho da anotação 3D automática e de alta qualidade já não é um objetivo distante, mas uma realidade presente.