Depth-Enhanced YOLO-SAM2 Detection for Reliable Ballast Insufficiency Identification

Dit artikel presenteert een diepte-verbeterd YOLO-SAM2-kader dat, door gebruik te maken van RGB-D-data en geometrische correctie, de betrouwbaarheid van geautomatiseerde ballasttekortdetectie in spoorwegen aanzienlijk verhoogt door de recall te verbeteren van 0,49 naar 0,80.

De kern

Stel je voor dat een spoorlijn een enorm, zwaar bed is. De rails zijn de latten, maar wat houdt die latten stevig op hun plek en zorgt dat het water wegloopt? Dat is het ballast: die stevige laag van stenen en grind eronder.

Als die laag te dun wordt of gaat zakken, wordt het bed onstabiel. Treinen kunnen gaan schudden, en dat is gevaarlijk. Vroeger liepen mensen met hun ogen langs het spoor om te kijken of er genoeg steen lag. Dat is vermoeiend, onnauwkeurig en soms zelfs gevaarlijk.

De auteurs van dit paper hebben een slimme, robotische oplossing bedacht: een camera-systeem dat niet alleen kijkt, maar ook voelt met diepte. Hier is hoe het werkt, vertaald in simpele taal:

1. Het Probleem: De "Blinde" Camera

Stel je voor dat je een foto maakt van een berg stenen. Een slimme camera (genaamd YOLO) kan heel goed zien: "Ah, daar ligt een hoop stenen!" Maar als je alleen naar de foto kijkt, weet je niet of die hoop stevig is of juist een holte eronder heeft.
In hun tests zag de camera vaak wel stenen, maar miste hij de plekken waar het gevaarlijk dun was. Het was alsof de camera dacht: "Het ziet er vol uit, dus het is goed," terwijl er eigenlijk een gat onder zat. De camera was te optimistisch.

2. De Oplossing: Een 3D-Bril en Een Slimme Snijder

Om dit op te lossen, hebben ze een camera gebruikt die ook diepte ziet (een RGB-D camera, zoals een Intel RealSense). Dit is alsof je van 2D-foto's overstapt op 3D-modellen. Maar er zit een addertje onder het gras: deze camera's maken soms een beetje een "buigende" foto, alsof je door een gekke bril kijkt. De diepte-gegevens zijn niet 100% eerlijk.

Hier komt hun slimme systeem in drie stappen:

• Stap 1: De Slijterij (YOLO)
  Eerst laat je de camera de stenen zoeken op de foto. Het markeert een rechthoek om de stenen heen.
• Stap 2: De Maatwerk-Snijder (SAM2)
  De eerste rechthoek van de camera staat vaak scheef ten opzichte van de spoorrails (alsof je een vierkante doos probeert om een schuine tafel te leggen). Het systeem gebruikt een slimme tool genaamd SAM2 om de vorm van de stenen precies na te trekken en de rechthoek te draaien tot hij perfect past. Nu zit de "doos" strak om de stenen.
• Stap 3: De Rechttoe-Rechtaan-Bril (Dieptecorrectie)
  Nu komt het magische deel. Het systeem kijkt naar de "slaapstroken" (de betonnen blokken tussen de rails). Die moeten eigenlijk perfect vlak zijn. Als de camera ze scheef ziet, weet het systeem: "Aha, mijn bril is scheef!" Het berekent dan precies hoe de bril moet worden gecorrigeerd (met wiskundige formules) en trekt de vervorming eraf.
  • Analogie: Stel je voor dat je een foto van een vloer maakt die eruitziet alsof hij golft. Het systeem zegt: "Nee, de vloer is plat, de camera is scheef." Het maakt de foto weer plat en eerlijk.

3. Het Oordeel: Is het Bed Vol?

Nu ze een eerlijke, rechte 3D-kaart hebben, kunnen ze meten:

• Globaal: Is het hele stuk stenen te laag? (Alsof het hele matras is ingezakt).
• Lokaal: Zijn er gaten direct naast de betonnen blokken? (Alsof er een gat is bij de rand van het matras).

Als het systeem een gat ziet, roept het: "Geen genoeg steen!"

Wat was het resultaat?

Vroeger (alleen met de "blinde" camera) mistte het systeem bijna de helft van de gevaarlijke plekken. Het dacht dat alles veilig was, terwijl het dat niet was.
Met hun nieuwe systeem (diepte + correctie + perfecte vorm) vingen ze 80% van de gevaarlijke plekken op.

Kortom:
Ze hebben een systeem gebouwd dat niet alleen kijkt of er stenen liggen, maar ook voelt of ze diep genoeg zitten. Door de camera's "bril" te corrigeren en de vorm van de stenen perfect te volgen, kunnen ze nu veel veiliger en betrouwbaarder controleren of het spoor veilig is voor de trein. Het is een stap van "misschien wel veilig" naar "we weten zeker dat het veilig is".

Technische samenvatting

Titel: Diepte-geoptimaliseerde YOLO–SAM2-detectie voor betrouwbare identificatie van ballasttekort

1. Probleemstelling

Het onderhoud van spoorballast (het gesteente onder en tussen de dwarsliggers) is cruciaal voor de structurele integriteit en veiligheid van spoorwegsystemen. Tekortkomingen in de ballast kunnen leiden tot instabiliteit van het spoor.

• Huidige uitdagingen: Traditionele inspectie is handmatig, arbeidsintensief en subjectief. Geautomatiseerde methoden die alleen RGB-beelden (kleurafbeeldingen) gebruiken, blijken onvoldoende.
• Beperkingen van RGB-only: Hoewel modellen zoals YOLOv8 een hoge precisie hebben (0,99), missen ze vaak daadwerkelijke tekorten (lage recall van 0,49). Dit komt doordat het model geneigd is om "voldoende" ballast te voorspellen wanneer de visuele cues ambigu zijn, wat leidt tot gevaarlijke fout-negatieven (het niet detecteren van een gevaarlijke situatie).
• Sensorkwesties: Dieptesensoren (zoals Intel RealSense) leveren waardevolle geometrische informatie, maar lijden vaak onder ruimtelijke vervormingen, kanteling en bias door sensorinstellingen en omgevingsfactoren. Zonder correctie zijn deze metingen onbetrouwbaar voor geometrische classificatie.

2. Methodologie

De auteurs presenteren een geïntegreerd RGB-D (Kleur + Diepte) framework dat vier hoofdstappen omvat:

• A. Detectie met YOLOv8:
  Het systeem gebruikt eerst YOLOv8 op RGB-beelden om gebieden met ballast te lokaliseren. De detectie is beperkt tot het centrale 70% van de afbeelding om ruis aan de randen te minimaliseren.

• B. Segmentatie en Rotatie met SAM2:
  Om de fysieke oriëntatie van de spoorbaan beter te volgen, worden de as-gealigneerde bounding boxes van YOLO verwerkt door Segment Anything Model 2 (SAM2).

  • SAM2 verfijnt de maskers voor elke regio van belang (ROI).
  • Er worden geroteerde bounding boxes (RBB) berekend die perfect aansluiten bij de fysieke hoek van de dwarsliggers en ballast, in plaats van rechthoekige blokken die de rails kruisen.

• C. Dieptecorrectie (Depth Correction):
  Dit is een kerninnovatie om sensorbias te elimineren:

  • Polynoommodel: De ruwe dieptedata wordt gemodelleerd als een 2D-polynoomoppervlak om systematische vervormingen (kanteling, kromming) te beschrijven.
  • Steekproefneming: Dieptewaarden worden uitsluitend gehaald uit de gebieden tussen de ballast (de dwarsliggers), aangezien deze in werkelijkheid vlak zijn.
  • RANSAC & MAD: Met behulp van RANSAC (Random Sample Consensus) en Median Absolute Deviation (MAD) filtering wordt een robuust polynoommodel gefit om de bias te schatten, ondanks ruis en uitschieters.
  • Temporele Stabilisatie: Een Exponentiële Moving Average (EMA) filter wordt toegepast op de correctieparameters om flitsen tussen opeenvolgende frames te voorkomen.
  • Correctie: De geschatte bias wordt van de ruwe dieptekaart afgetrokken, waardoor een zuivere geometrische weergave overblijft.

• D. Classificatie van Ballastvoldoening:
  Op basis van de gecorrigeerde dieptekaart wordt een referentievlak gereconstrueerd tussen de dwarsliggers. De classificatie gebruikt een dual-criteria strategie:

  1. Globale Residucriterium: Detecteert brede depressies in het ballastoppervlak (als een groot percentage van het gebied onder een drempelwaarde ligt).
  2. Rand-Gap Criterium: Detecteert lokale gaten aan de randen van de dwarsliggers (waar ballast vaak wegspoelt).
     Een gebied wordt als "onvoldoende" geclassificeerd als aan een van deze criteria wordt voldaan.

3. Belangrijkste Bijdragen

1. Geïntegreerde RGB-D Pipeline: Een uniek systeem dat YOLO-detectie combineert met SAM2-segmentatie en rotatie-specifieke bounding boxes, afgestemd op de geometrie van spoorlijnen.
2. Robuuste Ruimtelijke Bias-correctie: Een methode die RANSAC en polynoomfitting gebruikt om dieptedata te corrigeren zonder externe kalibratie, wat consistente metingen mogelijk maakt.
3. Dual-Criteria Classificator: Een hybride aanpak die zowel globale dieptedalingen als lokale randgaten combineert om ballasttekort met hoge precisie te identificeren.

4. Resultaten

De methode is getest op 1.405 trainingsafbeeldingen en 418 testafbeeldingen van een Intel RealSense D435-camera.

• Verbetering t.o.v. YOLO-only:
  • YOLO-only (alleen RGB): Precisie 0,99, maar lage Recall (0,49) en F1-score (0,66). Het mist veel gevaarlijke situaties.
  • Voorstel (Diepte + RBB + Dual Criteria): Recall steeg naar 0,75 - 0,80 en de F1-score verbeterde naar 0,80 - 0,81.
• Effect van Rotatie: Het gebruik van geroteerde bounding boxes (RBB) verbeterde de precisie aanzienlijk in vergelijking met as-gealigneerde boxes (AABB), omdat ze beter aansluiten bij de werkelijke vorm van de ballast.
• Effect van Dieptecorrectie: De gecorrigeerde dieptekaarten tonen duidelijkere dwarsliggergrenzen en een consistente dieptegradiënt, wat essentieel is voor het detecteren van kleine afwijkingen.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat het integreren van dieptecorrectie met geavanceerde diepe leermodellen (YOLO + SAM2) een aanzienlijke stap voorwaarts is voor de veiligheid van spoorwegen.

• Veiligheid: De belangrijkste winst is de drastische verbetering in recall voor ballasttekort. In veiligheidskritieke toepassingen is het veel gevaarlijker om een tekort te missen (fout-negatief) dan om een onnodige inspectie te starten (fout-positief).
• Betrouwbaarheid: Het systeem presteert robuust in visueel ambiguwe situaties waar RGB-beelden alleen niet genoeg informatie bieden.
• Toekomst: De auteurs plannen uitbreiding naar meer complexe spoorcondities, multi-camera fusie voor bochten en continue inspectie vanuit treinen.

Kortom, deze studie biedt een praktisch, betrouwbaar en veiligheidsgericht framework voor geautomatiseerd spooronderhoud dat de beperkingen van puur visuele inspectie overwint door gebruik te maken van geometrische diepte-informatie.