How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures

Stellen Sie sich eine Welt vor, in der selbstfahrende Autos und autonome Drohnen navigieren, indem sie mit Laserstrahlen „sehen“ statt mit Augen. Diese Maschinen feuern Lichtimpulse ab, die von Boden, Gebäuden und Bäumen reflektiert werden und als eine Wolke aus Millionen einzelner Punkte zurückkehren. So bauen sie eine dreidimensionale Karte ihrer Umgebung auf. Diese Karten sind jedoch nicht perfekt ausgewogen. In einer typischen Stadtszene trifft der Laser tausendmal häufiger auf die weite, flache Fläche der Straße oder die Seite eines Gebäudes als auf ein kleines, fernes Straßenschild oder einen Fußgänger. Dies erzeugt ein schwerwiegendes Ungleichgewicht: Der Computer sieht die großen Dinge ständig, bemerkt aber die kleinen, kritischen Details kaum. Wenn das Gehirn der Maschine nicht darauf trainiert ist, mit diesem Problem umzugehen, könnte sie einen auf dem Bürgersteig stehenden Menschen mit Zuversicht ignorieren, weil sie von der schieren Menge der Daten über die Straße überwältigt wurde.

Seit Jahrzehnten versuchen Forscher, ähnliche Probleme in der Standard-2D-Fotografie zu lösen, bei der einige Objekte weitaus seltener erscheinen als andere. Sie entwickelten verschiedene mathematische Tricks, um den Computer dazu zu bringen, den seltenen Objekten mehr Aufmerksamkeit zu schenken. Doch als dieselben Tricks auf die chaotische, dreidimensionale Welt der Laser-Punktwolken angewendet wurden, waren die Ergebnisse verwirrend. Einige Methoden funktionierten, während andere das Problem scheinbar verschlimmerten. Die Frage blieb: Ändert die Art und Weise, wie ein Computer diese Laserpunkte sampelt, welche Tricks tatsächlich funktionieren? Eine neue Studie von Forschern der Universität Zypern und des KIOS Research and Innovation Center of Excellence setzte sich zum Ziel, dies zu beantworten, indem sie eine breite Palette von Lösungen an realen Daten testete.

Die Forscher konzentrierten sich auf zwei verschiedene Arten, wie Computer diese Laserwolken verarbeiten. Die erste Methode, die in einem System namens KPConv verwendet wird, agiert wie ein sorgfältiger Vermesser. Sie wählt Punkte in einem strukturierten, organisierten Muster aus und stellt sicher, dass jeder Teil der Szene mit einer spezifischen geometrischen Logik gesampelt wird. Die zweite Methode, die in einem System namens RandLA-Net verwendet wird, ist viel chaotischer; sie greift Punkte völlig zufällig, wie ein Kind, das Handvoll Sand vom Strand greift. Das Team testete beide Systeme gegen drei sehr unterschiedliche Datensätze: einen massiven Luftscan einer Stadt mit einem extremen Ungleichgewicht von 641 zu eins, einen Indoor-Scan eines Gebäudes mit einem moderaten Ungleichgewicht und eine synthetische, computergenerierte Umgebung. Sie wandten elf verschiedene Strategien an, um zu sehen, welche der Computer die seltenen Objekte am besten erkennt.

Die Ergebnisse lieferten ein überraschendes und klares Urteil. Der gängigste Instinkt auf diesem Gebiet – dem Computer einfach vorzugeben, die seltenen Objekte basierend auf ihrem Vorkommen stärker zu gewichten – erwies sich als Desaster. Als die Forscher diese standardmäßige „Invers-Frequenz“-Gewichtung verwendeten, sank die Leistung des Computers signifikant, teilweise um bis zu 12 Prozent. In den schlimmsten Fällen versagte das System katastrophal und übersah kleine Objekte wie Pfosten und Zäune vollständig. Die Studie schloss diesen populären Ansatz explizit aus und zeigte, dass es das Modell tatsächlich verwirrt und seine Fähigkeit, die Welt korrekt wahrzunehmen, verschlechtert, wenn man die Bedeutung seltener Klassen blind erhöht.

Stattdessen fand die Studie heraus, dass die beste Lösung vollständig davon abhängt, wie der Computer die Daten sampelt. Für das strukturierte, vermesserähnliche System war oft der einfachste Ansatz der beste. Eine gleichmäßige Gewichtung, bei der jede Klasse ohne spezielle mathematische Anpassungen gleich behandelt wird, funktionierte fast so gut wie die komplexesten, eigens entwickelten Formeln. Der Unterschied war so gering – weniger als 2 Prozent –, dass der zusätzliche Aufwand zur Berechnung komplexer Gewichte keinen wirklichen Nutzen bot. Die strukturierte Sampling-Methode schien das Ungleichgewicht von Natur aus gut genug zu handhaben, sodass der Computer nicht gezwungen werden musste, den seltenen Objekten besondere Aufmerksamkeit zu schenken.

Die Geschichte war jedoch eine andere für die zufällige, chaotische Sampling-Methode. Da dieses System die natürliche geometrische Struktur der Szene verwirft, reagiert es viel empfindlicher auf das Ungleichgewicht. Hier blieb der einfache, gleichmäßige Ansatz zurück und hinkte spezialisierten Techniken um bis zu 4,6 Prozent hinterher. Für diesen Typ von Architektur fanden die Forscher heraus, dass eine spezifische Loss-Funktion namens LDAM, die anpasst, wie der Computer aus seinen Fehlern lernt, eine spürbare Verbesserung bot. Doch selbst hier war Vorsicht geboten. Andere komplexe Formeln, die in der 2D-Fotografie gut funktionierten, ließen das Zufallssystem genauso schlecht abschneiden wie die einfache Gewichtung im strukturierten System.

Die Forscher untersuchten auch die „Form“ des Lernprozesses, um zu verstehen, warum diese Unterschiede auftraten. Sie fanden heraus, dass beim strukturierten System die Schwierigkeit der Lernaufgabe mit dem Ungleichgewicht der Daten verknüpft war: Je unausgewogener die Daten, desto schärfer und schwieriger wurde der Lernpfad. Aber beim Zufallssystem wurde die Schwierigkeit durch die physische Komplexität der Szene selbst angetrieben. In unübersichtlichen Innenräumen mit vielen dünnen Objekten wie Stühlen und Tischen wurde der Lernpfad zackig und schwer zu navigieren, unabhängig davon, wie viele seltene Objekte vorhanden waren. Dies deutet darauf an, dass die Zufallsmethode Schwierigkeiten hat, weil sie den strukturellen Kontext verliert, der dem Computer hilft, die Szene zu begreifen.

Letztendlich bietet diese Arbeit einen praktischen Leitfaden für Ingenieure, die solche Systeme entwickeln. Sie legt nahe, dass man, wenn man eine strukturierte Sampling-Methode verwendet, die Versuchung vermeiden sollte, seine Lösung übermäßig komplex zu gestalten; eine einfache, gleichmäßige Behandlung aller Klassen ist robust und effektiv. Wenn man eine zufällige Sampling-Methode verwendet, benötigt man tatsächlich ein spezialisiertes Werkzeug, um das Ungleichgewicht zu bewältigen, aber man muss es sorgfältig auswählen, da das falsche Werkzeug das System komplett zerstören kann. Die Studie kommt zu dem Schluss, dass es kein einzelnes Allheilmittel für alle 3D-Sichtaufgaben gibt. Stattdessen wird die Wirksamkeit jeder Lösung durch eine delikate Wechselwirkung zwischen der Art der Datenerfassung, der Art und Weise, wie der Computer sampelt, und der spezifischen Natur der Umgebung, die er zu verstehen versucht, bestimmt.