Investigating the performance of novel class discovery (NCD) approach for semantic segmentation on realworld SLAM LiDAR point cloud data

No mundo moderno do mapeamento, uma tecnologia chamada LiDAR tornou-se uma ferramenta poderosa para visualizar a forma tridimensional de nossos arredores. Ao disparar pulsos rápidos de luz e medir quanto tempo eles levam para retornar, esses sensores criam vastas nuvens de milhões de pontos individuais, cada um representando um ponto específico em um edifício, uma árvore ou o solo. Embora esses dados sejam incrivelmente detalhados, compreender esse conteúdo automaticamente é uma tarefa difícil. Os computadores são frequentemente treinados para reconhecer apenas os objetos que já lhes foram apresentados anteriormente, como estradas, casas ou árvores. Se o computador encontra algo novo, como um tipo único de cerca ou um monte de detritos de construção, ele frequentemente força esse objeto a entrar em uma de suas categorias conhecidas, mesmo que o ajuste seja ruim. Essa limitação significa que, em ambientes complexos do mundo real, mapas automatizados podem perder detalhes importantes ou identificá-los erroneamente por completo. Para resolver isso, pesquisadores estão explorando um método chamado descoberta de novas classes (novel class discovery), que visa ensinar os computadores não apenas a reconhecer o que já conhecem, mas a notar quando algo novo aparece e agrupar essas novas coisas por conta própria.

Uma equipe de pesquisadores da Universidade Gadjah Mada, na Indonésia, estabeleceu o objetivo de testar essa ideia usando dados capturados por um dispositivo portátil que se move através de um ambiente externo. Diferente dos scanners estacionários, este dispositivo, conhecido como um sistema LiDAR SLAM, permite que uma pessoa caminhe por um campus enquanto o sensor simultaneamente mapeia a área e rastreia sua própria posição. Isso cria um registro contínuo e fluido do mundo, mas também introduz desafios como mudanças na densidade de pontos e pequenos erros de posição que não ocorrem em configurações controladas de laboratório. Os pesquisadores focaram em uma área específica do campus universitário, cobrindo cerca de dezoito hectares, que continha uma mistura de edifícios, vegetação e superfícies pavimentadas. Eles percorreram quinze caminhos diferentes nesta área, coletando uma quantidade massiva de dados brutos de nuvem de pontos que representavam a complexidade do mundo real de um espaço ao ar livre.

O primeiro passo no trabalho deles foi limpar esses dados brutos e ensinar um modelo de computador a reconhecer as três coisas principais com as quais estavam interessados: o solo, a vegetação e os edifícios. Eles rotularam manualmente uma parte dos dados para servir como guia, mostrando ao computador como essas três categorias se pareciam. Uma vez que o modelo foi treinado, eles testaram sua capacidade de identificar esses objetos conhecidos em todo o conjunto de dados. Os resultados foram encorajadores para o solo, que o modelo identificou com uma precisão muito alta. A vegetação também foi bem reconhecida, embora as bordas onde as árvores encontravam os edifícios às vezes causassem confusão. Os edifícios provaram ser o mais difícil, provavelmente porque suas formas variam amplamente e o scanner portátil às vezes perdia partes de paredes ou telhados devido ao ângulo da caminhada. Apesar dessas imperfeições, o modelo conseguiu aprender a distinguir as três categorias principais através do terreno complexo.

O verdadeiro teste, no entanto, foi o que aconteceu em seguida. Os pesquisadores pediram ao modelo que observasse os pontos sobre os quais não tinha confiança e os tratasse como "desconhecidos". Em vez de forçar esses pontos incertos nas categorias de solo, vegetação ou edifício, o sistema foi projetado para agrupá-los em novos clusters separados. Este é o cerne da abordagem de descoberta de novas classes: deixar o computador encontrar seus próprios grupos para coisas que ele não entende. O modelo identificou uma pequena porcentagem do total de pontos como desconhecidos, aproximadamente nove por cento dos dados. Ele então classificou esses pontos desconhecidos em três novos grupos. Quando os pesquisadores observaram o que esses novos grupos realmente continham, encontraram uma mistura de sucesso e limitação. Um dos novos grupos conseguiu isolar com sucesso alguns objetos distintos, como postes de utilidade pública e cabos, que eram de fato diferentes das categorias principais.

Contudo, o estudo revelou que este método ainda não é perfeito para dados externos do mundo real. Uma parte significativa dos pontos colocados nesses novos grupos "desconhecidos" pertencia, na verdade, às categorias conhecidas. Por exemplo, fragmentos de edifícios ou partes de árvores sobre as quais o modelo estava incerto foram incorretamente agrupados com os novos objetos. Isso aconteceu porque o modelo inicial não era confiante o suficiente em suas próprias previsões, fazendo com que ele rotulasse erroneamente partes de objetos conhecidos como novas descobertas. Os pesquisadores descobriram que a qualidade desses novos grupos dependia fortemente de quão bem o modelo entendia as três categorias originais. Se o modelo tivesse dificuldades com um edifício específico ou um trecho de arbustos densos, esses erros repercutiam pelo sistema, criando novos grupos desordenados que não eram realmente objetos novos, mas sim peças confusas de objetos antigos.

O estudo também destacou como a natureza física dos dados afetou os resultados. Como o sensor estava em movimento, a densidade dos pontos mudava dependendo da velocidade com que o operador caminhava ou de quão próximo ele estava de um objeto. Em áreas onde os pontos eram esparsos ou ruidosos, o modelo tinha mais dificuldade em distinguir entre um objeto conhecido e um novo. Além disso, os pesquisadores tiveram que decidir por um número fixo de novos grupos para procurar, e essa escolha rígida às vezes forçava objetos não relacionados para o mesmo balde ou dividia um único tipo de objeto em múltiplos grupos. Sem um guia de referência perfeito sobre o que esses novos objetos deveriam ser, os pesquisadores confiaram na inspeção visual para julgar os resultados, confirmando que, embora o sistema pudesse encontrar novos padrões, esses padrões eram frequentemente instáveis e misturados com erros das classes conhecidas.

Em última análise, a pesquisa demonstra que, embora o conceito de descoberta de novas classes prometa muito para o mapeamento do mundo real, ele enfrenta obstáculos significativos quando aplicado a dados capturados por sensores móveis em ambientes complexos. O sistema consegue identificar que algo é diferente, mas tem dificuldade em separar limpamente essa diferença do ruído e da incerteza dos próprios dados. O sucesso em encontrar novas classes está profundamente ligado à precisão do reconhecimento inicial dos objetos conhecidos. Se o computador não tem certeza sobre um edifício, ele não pode ter certeza de que um poste próximo é algo novo. Os autores concluem que, para que esta tecnologia se torne confiável para uso no mundo real, os modelos subjacentes precisam ser mais robustos, os métodos para detectar objetos desconhecidos precisam ser mais flexíveis e a avaliação desses novos grupos precisa ser mais sistemática. O caminho a seguir envolve o refinamento de como esses sistemas aprendem com os dados desordenados e imperfeitos do mundo real, garantindo que, quando descobrirem algo novo, estejam realmente vendo algo novo, e não apenas um erro.