💻 computer science

SAM3 Self-Distillation for Fine-Grained GOOSE 2D Semantic Segmentation

Dieses Paper präsentiert die Lösung für den 4. Platz beim ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation, welche durch die Anpassung des SAM3-Foundation-Modells mit einem leichtgewichtigen Decoder sowie die Leistungssteigerung durch ein Selbstdistillationsschema, bildebene Multi-Scale Test-Time Augmentation und aggressive photometrische Distorsion eine mIoU von 69,73 % erreicht.

Ursprüngliche Autoren: Xuesong Wang

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuesong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Offroad-Fahren bei, aber anstatt nur „einen Baum“ oder „einen Stein“ zu sehen, muss der Roboter zwischen 64 spezifischen Dingen unterscheiden können, wie zum Beispiel „niedrigem Gras“, „Sträuchern“, „Moos“ und „Kick-Scootern“. Dies ist die Herausforderung, der Autor, Xuesong Wang, für den ICRA 2026 GOOSE-Wettbewerb angegangen ist. Das Ziel war es, ein System zu bauen, das in der Lage ist, jedes einzelne Pixel eines Kamera-Bildes mit dem korrekten Objektnamen zu beschriften.

Der Beitrag des Autors belegte den 4. Platz mit einer Punktzahl von 69,73 %. Hier ist die Erklärung, wie sie es geschafft haben, verdeutlicht durch einfache Analogien.

Die Kernidee: Ein smarter Schüler und ein Super-Lehrer

Das Team hat das Gehirn ihres Roboters nicht von Grund auf neu erschaffen. Stattdessen nutzten sie einen vortrainierten „Super-Lehrer“ namens SAM3 (Segment Anything Model 3). Stellen Sie sich SAM3 wie einen genialen Künstler vor, der Millionen von Bildern gesehen hat und genau weiß, wie man die Umrisse fast jedes Objekts zeichnet, wenn man darauf zeigt.

Dieser geniale Künstler ist jedoch etwas starr; er funktioniert nur gut bei bestimmten Prompts und weiß nicht um die spezifischen 64 „Offroad“-Klassen, die der Roboter lernen muss.

Die Lösung:

Der Schüler: Sie nahmen das „Gehirn“ (den Image Encoder) des genialen Lehrers (SAM3) und gaben ihm einen kleinen, einfachen „Kopf“ (einen Decoder), um die spezifischen Offroad-Klassen zu lernen.
Partielles Training: Sie haben nicht das gesamte geniale Gehirn neu trainiert. Sie haben lediglich die oberen Schichten (den Teil, der komplexe Details verarbeitet) angepasst, während die unteren Schichten (die grundlegende Formen und Kanten kennen) eingefroren blieben. Das ist so, als würde man einen Spitzenkoch anstellen, um ein neues Restaurant zu unterrichten; man trainiert ihn nicht neu darin, wie man Zwiebeln schneidet (das kann er bereits), sondern man bringt ihm nur seine spezifische Geheimsoße bei.

Die drei geheimen Zutaten

Die Arbeit hebt drei spezifische Tricks hervor, die die Punktzahl gesteigert haben:

1. Die „Oracle Box“ Selbst-Distillation (Der Lehrer hilft dem Schüler)

Normalerweise lernt ein Schüler von einem Lehrer, indem er dabei zusieht, wie dieser ein Problem löst. Hier sind der Schüler (der Roboter) und der Lehrer (SAM3) eigentlich dieselbe Modellfamilie.

Der Trick: Vor dem Training bat das Team den „genialen Lehrer“ (SAM3), perfekte Umrisse um Objekte zu zeichen, wobei es die korrekten Ground-Truth-Boxen (wie einen Spickzettel) verwendete.
Der Haken: Der Lehrer ist nicht in allem perfekt. Er ist großartig darin, einen „Lkw“ oder einen „Baum“ zu zeichnen, aber schlecht bei „Zäunen“ oder „Moos“ (er zeichnet über die Linien hinaus).
Die Lösung: Das Team ließ den Lehrer nur bei den Klassen helfen, in denen er eindeutig besser als der Schüler war. Für diese 22 spezifischen Klassen (wie Lkw, Busse und Leitkegel) wurde der Schüler gezwungen, die perfekte Zeichnung des Lehrers zu kopieren. Für die anderen Klassen lernte der Schüler auf eigene Faust.

2. Das „Aggressive Color Makeover“ (Die härteste Lektion)

Offroad-Szenen verändern sich drastisch: Schnee im Winter, Matsch im Frühling, helle Sonne im Sommer und Regen im Herbst. Ein Roboter, der sich darauf verlässt, dass „Grün gleich Gras bedeutet“, wird scheitern, wenn das Gras mit Schnee bedeckt ist oder im Winter braun aussieht.

Der Trick: Während des Trainings nahm das Team jedes Bild und veränderte dessen Farben massiv. Sie änderten zufällig Helligkeit, Kontrast, Sättigung und Farbton.
Die Analogie: Stellen Sie sich vor, Sie trainieren einen Schüler darauf, ein „Stoppschild“ nicht nur an seiner roten Farbe, sondern an seiner achteckigen Form zu erkennen. Sie zeigen ihm das Schild in Schwarz-Weiß, in Neon-Grün, in Sepia und in der Dunkelheit.
Das Ergebnis: Dies war die einzelnem größte Verbesserung (+0,86 Punkte). Es zwang den Roboter, aufzuhören, basierend auf der Farbe zu raten, und stattd碼, Formen und Texturen zu erkennen.

3. Der „Zoom-In, Zoom-Out“-Trick (Multi-Scale Testing)

Die meisten modernen KI-Modelle sind wie Kameras mit einem festen Objektiv; sie können ein Bild nur in einer bestimmten Größe betrachten. Wenn man ihnen ein winziges Bild füttert, wird es unscharf; wenn man ein riesiges Bild füttert, wird es pixelig.

Das Problem: Die Standardmethode zur Behebung besteht darin, das Modell in verschiedenen Größen anzupassen, aber dieses Modell war zu starr, um sein Objektiv zu ändern.
Der Workaround: Anstatt das Modell zu ändern, änderten sie das Bild. Bevor sie das Bild dem Modell zuführten, schrumpften sie es auf 75 % der Größe und bliesen es auf 125 % auf.
Der Prozess:
1. Nehmen Sie das Originalfoto.
2. Verkleinern Sie es, lassen Sie es durch das Gehirn des Roboters laufen und protokollieren Sie die Antwort.
3. Vergrößern Sie es, lassen Sie es durch das Gehirn laufen und protokollieren Sie die Antwort.
4. Lassen Sie es auch in der Originalgröße durchlaufen.
5. Berechnen Sie den Durchschnitt der Ergebnisse.
Warum es funktioniert: Ein „Leitkegel“ aus der Ferne zu betrachten (geschrumpft), hilft dem Roboter, das gesamte Objekt zu sehen. Ihn aus der Nähe zu betrachten (aufgeblasen), hilft ihm, die feinen Details zu erkennen. Die Kombination beider Ansichten macht die Vermutung viel genauer. Dies steigerte die Genauigkeit um weitere +0,34 Punkte, ohne dass zusätzliches Training nötig war.

Was nicht funktionierte?

Der Autor war ehrlich über das, was er ausprobiert hat und was scheiterte:

Schwerere Gehirne: Sie versuchten, ein komplexeres „Haupt“ (Decoder) für das Modell zu verwenden, aber das machte den Roboter tatsächlich schlechter darin, kleine, seltene Objekte zu entdecken.
Andere Lehrer: Sie testeten andere berühmte KI-Modelle (wie DINOv2), aber keines war für diese spezifische Aufgabe so gut wie SAM3.
Zufälliges Resizing: Das zufällige Ändern der Bildgröße während des Trainings half nicht so sehr wie die aggressiven Farbveränderungen.

Das Fazit

Der Roboter erreichte den 4. Platz, indem er eine leistungsstarke vortrainierte KI als Basis nutzte, einem „genialen Lehrer“ half, die einfachen Klassen zu lernen, ihn dazu zwang, Farbreize zu ignorieren, um Formen zu lernen, und einen cleveren „Zoom-Trick“ während des finalen Tests anwandte, um Objekte aus verschiedenen Entfernungen zu sehen.

Womit hat er immer noch Schwierigkeiten? „Moos“. Der Roboter verwechselt Moos ständig mit niedrigem Gras oder dem Waldboden, wahrscheinlich weil Moos so selten ist und dem anderen Dingen im Datensatz so ähnlich sieht.

Technisches Resümee: SAM3 Selbst-Distillation für feingranulare GOOSE 2D semantische Segmentierung

Problemstellung

Die Arbeit befasst sich mit der ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge, die eine Pixel-genaue Labeling-Aufgabe für Offroad-Bilder erfordert, wobei jedes Pixel einer von 64 feingranularen Klassen (z. B. spezifische Vegetationstypen, Fahrzeugmodelle) zugeordnet wird, die sich zu 11 groben Super-Kategorien zusammenfassen lassen. Die Herausforderung wird auf einem gehaltenen Testdatensatz mit 1.815 Bildern evaluiert, die von vier verschiedenen robotischen Kameraplattformen (MuCAR-3, ALICE und zwei Spot-Konfigurationen) aufgenommen wurden.

Die Autoren identifizieren drei primäre Schwierigkeiten in diesem Bereich:

Long-tailed Class Distribution (Long-Tail-Klassenverteilung): Einige Klassen (z. B. Wald, niedriger Grasbewuchs) dominieren die Trainingsdaten, während andere (z. B. Kickscooter, Rohr) nur in wenigen Teilen pro Million erscheinen.
Visual Near-Equivalence (Visuelle Nahequivalenz): Viele Klassen innerhalb derselben Super-Kategorie (z. B. verschiedene Vegetationstypen) unterscheiden sich nur subtil in der Kronendichte oder Härte, was zu hohen Verwechslungsraten führt.
Platform Heterogeneity (Plattform-Heterogenität): Variationen in Auflösung, Belichtung und Blickwinkel über die vier Kameraplattformen hinweg erschweren die Erstellung eines Modells, das generalisiert, ohne auf eine spezifische Geometrie zu überoptimieren.

Methodik

Die vorgeschlagene Lösung passt das Segment Anything Model 3 (SAM3) Visual Foundation Model für die Offroad-Segmentierung an. Die Architektur und die Trainingspipeline bestehen aus den folgenden Komponenten:

1. Backbone und Decoder

Backbone: Die Autoren nutzen den vortrainierten Bild-Encoder von SAM3. Anstatt ihn vollständig einzufrieren oder von Grund auf neu zu trainieren, setzen sie partielles Fine-Tuning ein: Die unteren Schichten (die generische visuelle Merkmale erfassen) bleiben eingefroren, während die oberen 12 Transformer-Blöcke feinjustiert werden. Dies balanciert die Beibehaltung des allgemeinen Wissens mit der Anpassung an die Offroad-Domäne aus.
Decoder: Ein leichtgewichtiger Feature Pyramid Network (FPN)-ähnlicher Decoder wird an den Encoder angehängt. Er fusioniert Merkmale verschiedener Auflösungen zu einer einzelnen pro-Pixel-Klassenkarte. Die Autoren stellten fest, dass ein komplexerer Decoder (UPerNet) etwas schlechter abschnitt, was wahrscheinlich auf das Verschwimmen kleiner oder seltener Objekte zurückzuführen ist.

2. SAM3 Oracle-Box Selbst-Distillation

Ein neuartiges Selbst-Distillationsschema wird eingeführt, bei dem SAM3 selbst als Lehrer für das Studentenmodell fungiert:

Mechanismus: SAM3 wird mit Ground-Truth-Bounding-Boxes ("Oracle-Box Prompting") gepromptet, um hochwertige Soft-Masken für spezifische Objekte zu generieren.
Selektionskriterien: SAM3 wird nicht als Lehrer für alle Klassen verwendet. Die Autoren evaluieren die Klassen vorab und wenden die Distillation nur für 22 Klassen an, bei denen die Oracle-Box-Masken von SAM3 nachweislich besser sind als die ursprünglichen Vorhersagen des Studenten (typischerweise kompakte, gut definierte Objekte wie LKWs, Verkehrsschilder und Bäume).
Verlustfunktion: Das Trainingsziel kombt den Standard-Cross-Entropy-Loss ( $L_{CE}$ ) für alle 56 Klassen mit einem Distillations-Loss ( $L_{teach}$ ) für die ausgewählten 22 Klassen, gewichtet mit $\lambda = 0,3$ .

3. Aggressive Photometrische Distortion

Die Pipeline nutzt eine aggressive Farb-Augmentationsstrategie eines Gewinnerbeitrags aus 2025. Im Gegensatz zu Standardmethoden, die Helligkeit, Kontrast, Sättigung und Farbton gleichzeitig stören, wendet dieser Ansatz jede Störung unabhängig mit einer Wahrscheinlichkeit von 0,5 an. Dies erzeugt eine reichere Verteilung von Trainingsbildern und zwingt das Modell, sich auf Form und Textur statt auf Farbreize zu verlassen, was angesichts der variierenden Licht- und Jahreszeitenbedingungen in Offroad-Szenen entscheidend ist.

4. Bildbasierte Multi-Scale Test-Time Augmentation (TTA)

Standardmäßige Multi-Scale TTA beinhaltet das Einspeisen von umskalierten Bildern in ein Modell. Da der SAM3-Encoder jedoch nur eine feste Eingangsgröße (1008×1008) akzeptiert, schlagen die Autoren einen Workaround vor:

Prozess: Anstatt das Modell-Input zu skalieren, wird das gesamte Testbild auf Faktoren von {0,75, 1,0, 1,25} skaliert.
Inferenz: Jedes umskalierte Bild wird mittels Sliding-Window-Inferenz (Tiling) bei der nativen Auflösung des Modells verarbeitet.
Fusion: Die resultierenden Score-Maps werden auf die Originaldimensionen des Bildes zurückskaliert, mit einem Hann-Fenster gewichtet, um Kanten der Tiles zu glätten, und über die Skalen hinweg akkumuliert. Die endgültige Vorhersage ist die Klasse mit dem höchsten akkumulierten Score. Dies stellt die Vorteile der Multi-Scale-Inferenz wieder her, ohne das Modell mit fester Eingangsgröße neu trainieren zu müssen.

Kernergebnisse

Das finale Modell erreichte ein zusammengesetztes mean Intersection-over-Union (mIoU) von 69,73 % auf dem offiziellen Testset und sicherte sich damit den 4. Platz im Wettbewerb. Die Aufschlüsselung der Leistungssteigerungen ist wie folgt:

Basismodell (Encoder + Decoder): 67,71 % zusammengesetztes mIoU.
+ SAM3 Selbst-Distillation: Verbesserte Leistung auf 68,38 % (+0,67).
+ Flip-Augmentation: +0,13 bis +0,15 Verbesserung.
+ Aggressive Farb-Augmentation: Die größte Quelle der Verbesserung, die +0,86 hinzufügte (erreicht 69,24 %). Dies war besonders effektiv für seltene Klassen (z. B. stieg das IoU für Kickscooter von 7,90 % auf 29,65 %).
+ Bildbasierte Multi-Scale TTA: Fügte weitere +0,34 hinzu (erreicht 69,73 %), was primtär mittel-seltenen, gut definierten Objekten wie Verkehrskegeln und Schildern zugutekam.

Beobachtungen pro Klasse:

Erfolge: Das Modell performte stark in den Super-Kategorien Himmel (97,47 %), Vegetation (94,01 %) und Fahrzeuge (90,94 %). Die Farb-Augmentation rettete signifikant seltene Klassen.
Fehlleistungen: Das Modell hatte Schwierigkeiten mit Moos (Abfall auf nahezu 0 % IoU durch die Farb-Augmentation) und Baumwurzeln, wahrscheinlich aufgrund der visuellen Ähnlichkeit mit anderen Vegetationsklassen und extremer Seltenheit. Kategorien wie Wasser und Tiere blieben ebenfalls schwach (<50 % IoU).

Bedeutung und Beiträge

Die Arbeit beansprucht drei primäre Beiträge:

Selbst-Distillation aus dem Foundation Model: Demonstration, dass ein Foundation Model (SAM3), wenn es mit Ground-Truth-Boxen gepromptet wird, als hochwertiger Lehrer für spezifische Klassen in einer spezialisierten Domäne dienen kann, wodurch die Vorhersagen des Studentenmodells verfeinert werden, ohne externe Lehrer-Netzwerke zu benötigen.
Bildbasierte Multi-Scale TTA: Bereitstellung einer generalisierbaren Methode, um Multi-Scale-Inferenz für jedes Modell zu ermöglichen, das an eine feste Eingangsgröße gebunden ist, indem das Bild anstatt des Modell-Inputs skaliert wird, wodurch Genauigkeitsgewinne ohne zusätzlichen Trainingsaufwand erzielt werden.
Empirische Erkenntnis zur Farb-Augmentation: Hervorhebung, dass aggressive, unabhängige photometrische Distortion – die zuvor in einer 2025er Challenge erfolgreich war – die einflussreichste Komponente für diese spezifische Pipeline ist und andere architektonische Anpassungen oder Verlustfunktionen deutlich übertrifft.

Die Autoren merken an, dass der Ansatz zwar effektiv ist, aber das grundlegende Problem der Verwechslung innerhalb der Vegetation bei extrem seltenen Klassen (wie Moos) nicht löst, was darauf hindeutet, dass zukünftige Verbesserungen ein zusätzliches Pretraining auf verwandten Offroad-Datensätzen erfordern könnten.