Depth-Enhanced YOLO-SAM2 Detection for Reliable Ballast Insufficiency Identification

Questo articolo presenta un framework YOLO-SAM2 potenziato dalla profondità che, integrando l'analisi geometrica basata su dati RGB-D con una pipeline di correzione delle distorsioni spaziali, migliora significativamente il richiamo e l'affidabilità nell'identificazione automatica dell'insufficienza di massicciata ferroviaria rispetto ai modelli basati solo su RGB.

L'essenziale

🚂 Il Problema: "Il cuscino di pietre che manca"

Immagina i binari del treno non come due semplici strisce di metallo, ma come un letto gigante. Sotto i "letti" (le traverse di cemento) c'è un materasso fatto di sassi chiamati ballast. Questi sassi sono fondamentali: tengono i binari dritti, assorbono le vibrazioni e fanno defluire l'acqua.

Se questo "materasso" di sassi è troppo basso o manca in alcuni punti, il treno rischia di saltare, di deragliare o di danneggiare i binari. Il problema è che ispezionare questi sassi a mano è pericoloso, lento e soggettivo (ogni ispettore ha un'opinione diversa).

🤖 La Soluzione: Un "Occhio Magico" che vede la profondità

Gli autori di questo studio hanno creato un sistema automatico che usa una telecamera speciale (che vede sia i colori che la profondità, come un occhio umano ma potenziato) per controllare i sassi. Ma c'è un trucco: la telecamera usata (Intel RealSense) è un po' "strabica".

Ecco come hanno risolto il problema, passo dopo passo, usando delle metafore:

1. Il primo tentativo: "L'occhio che guarda solo i colori" (YOLO)

All'inizio, hanno usato un'intelligenza artificiale chiamata YOLO (che significa "Guardi solo una volta"). È come un cane da guardia molto veloce che guarda le foto dei binari e dice: "Qui ci sono i sassi, lì no".

• Il problema: Questo cane da guardia è troppo ottimista. Se vede una macchia grigia, pensa subito: "Sembra abbastanza sassi!". In realtà, spesso sono sassi troppo bassi.
• Risultato: È bravissimo a non fare errori quando dice "tutto ok" (alta precisione), ma è terribile a trovare i problemi reali (bassa capacità di recupero). È come un medico che dice sempre "stai bene" per non spaventare i pazienti, ma ignora le malattie gravi.

2. Il trucco della profondità: "Correggere la distorsione" (Depth Correction)

La telecamera che misura la profondità (la distanza dei sassi) è come un lente di ingrandimento deformata. Se guardi una superficie piatta attraverso di essa, sembra curva o inclinata.

• La soluzione: Hanno creato un "filtro matematico" (usando un metodo chiamato RANSAC) che agisce come un livella da muratore. Analizzano le parti del binario che sanno essere piatte (le traverse di cemento) e usano queste come riferimento per "raddrizzare" l'immagine deformata. È come se correggessero la distorsione di una foto scattata con un obiettivo grandangolare economico.

3. L'aggiunta di un "Tagliapizza": SAM2 e i Box Ruotati

Una volta che i dati sulla profondità sono corretti, il sistema deve misurare i sassi.

• Il problema: I binari sono spesso curvi o inclinati. Usare un rettangolo dritto (come un'etichetta su un barattolo) per misurare i sassi su un binario curvo è come cercare di misurare un serpente con un righello dritto: non funziona bene.
• La soluzione: Usano un modello chiamato SAM2 (Segment Anything Model 2). Immagina SAM2 come un coltellino da cucina super preciso che taglia esattamente la forma dei sassi, indipendentemente da come sono inclinati. Poi, disegna un "rettangolo rotato" che segue perfettamente la curva del binario. Questo permette di misurare l'altezza dei sassi con precisione chirurgica.

4. La decisione finale: "Due guardie del corpo"

Infine, il sistema non si fida di una sola misura. Usa due criteri per decidere se i sassi sono sufficienti:

1. Il criterio globale: "C'è una grande depressione qui sotto?" (Come se l'intero materasso fosse afflosciato).
2. Il criterio dei bordi: "Ci sono buchi proprio ai bordi delle traverse?" (Come se i sassi fossero scivolati via ai lati).

Se anche solo uno di questi due "guardie" vede un problema, il sistema alza la mano e dice: "Pericolo! I sassi non bastano!".

🏆 I Risultati: Perché è un grande passo avanti?

Prima di questo sistema, la tecnologia esistente (solo YOLO) era come un guardiano distratto: vedeva 99 volte su 100 che tutto era ok, ma quando c'era un vero pericolo, spesso lo ignorava (ricordava solo il 49% dei problemi).

Con il nuovo sistema "Depth-Enhanced YOLO-SAM2":

• Hanno raddoppiato la capacità di trovare i pericoli (la "recall" è passata dal 49% all'80%).
• Il sistema è diventato molto più sicuro: ora riesce a vedere i sassi mancanti anche quando l'immagine è confusa o poco luminosa.

In sintesi

Hanno preso una telecamera un po' "strabica", l'hanno corretta con la matematica, hanno insegnato all'AI a tagliare le immagini seguendo le curve dei binari e hanno aggiunto un doppio controllo di sicurezza. Il risultato è un ispettore automatico infallibile che protegge i treni assicurandosi che il loro "materasso di sassi" sia sempre pieno e sicuro.

Sommario tecnico

Titolo: Rilevamento di Carenza di Ballast Potenziato da Profondità con YOLO–SAM2 per un'Identificazione Affidabile

1. Il Problema

L'ispezione del ballast ferroviario (la ghiaia posta sotto e tra le traverse) è fondamentale per la sicurezza e l'integrità strutturale delle ferrovie. I metodi tradizionali si basano su ispezioni visive manuali, che sono laboriose, soggettive e potenzialmente pericolose.
Sebbene le tecniche di visione artificiale basate su modelli YOLO (You Only Look Once) abbiano automatizzato il rilevamento delle regioni di ballast utilizzando immagini RGB, queste presentano limiti critici:

• Mancanza di informazioni geometriche: Le immagini RGB non forniscono dati sulla profondità, rendendo difficile distinguere tra ballast sufficiente e insufficiente (carenza).
• Bassa Recall: I modelli basati solo su RGB tendono a sovrastimare la classe "sufficiente", portando a un alto numero di falsi negativi (mancato rilevamento di carenze pericolose). Nel lavoro presentato, il modello YOLO-only ha raggiunto una precisione del 99% ma una recall inferiore al 50% (0.49).
• Distorsione dei sensori di profondità: L'uso di sensori di profondità (come Intel RealSense) introduce bias spaziali, tilt e distorsioni della superficie dovuti all'orientamento del sensore e alle condizioni ambientali, rendendo i dati grezzi inaffidabili per l'analisi geometrica senza correzione.

2. Metodologia Proposta

Gli autori propongono un framework integrato YOLO–SAM2 potenziato dalla profondità (RGB-D), che combina rilevamento, segmentazione, correzione geometrica e classificazione. La pipeline si articola in quattro fasi principali:

• A. Rilevamento Iniziale con YOLOv8:
  Il sistema utilizza YOLOv8 su immagini RGB per localizzare le regioni di interesse (ROI) del ballast. Per ridurre i falsi positivi, l'analisi è limitata al 70% centrale dell'immagine (tra le rotaie).

• B. Segmentazione SAM2 ed Estrazione di Bounding Box Ruotate (RBB):
  Poiché le scatole delimitatrici standard (asse-allineate) non si allineano bene con l'orientamento fisico delle rotaie e delle traverse, ogni ROI viene elaborata dal modello SAM2 (Segment Anything Model 2).

  • SAM2 genera maschere di segmentazione precise.
  • Vengono calcolate scatole delimitatrici ruotate (Rotated Bounding Boxes - RBB) per allinearsi perfettamente all'orientamento fisico del ballast, migliorando il campionamento della profondità.

• C. Correzione della Profondità (Depth Correction):
  Per mitigare le distorsioni del sensore RealSense, viene implementato un metodo di correzione robusto:

  • Campionamento delle Traverse: Vengono estratti punti di profondità dalle superfici delle traverse (sleepers) tra i segmenti di ballast, poiché queste superfici sono geometricamente piane.
  • Modellazione Polinomiale: Viene stimato un bias spaziale utilizzando una superficie polinomiale 2D a basso ordine.
  • RANSAC e Smoothing Temporale: L'algoritmo RANSAC (Random Sample Consensus) viene utilizzato per adattare il modello polinomiale ignorando gli outlier (rumore, occlusioni). I parametri di correzione vengono poi stabilizzati nel tempo tramite un filtro a media mobile esponenziale (EMA) per evitare sfarfallii tra i frame.
  • Correzione: La superficie di bias stimata viene sottratta dalla mappa di profondità grezza, preservando l'offset globale ma rimuovendo le distorsioni spaziali.

• D. Ricostruzione del Piano e Classificazione Dual-Criterio:
  Utilizzando la mappa di profondità corretta, viene ricostruito un piano di riferimento ideale per ogni regione di ballast. La classificazione di "sufficiente" o "insufficiente" si basa su due criteri geometrici complementari:

  1. Criterio Globale (Residuo): Calcola la proporzione di pixel in cui il ballast è significativamente più basso del piano di riferimento (depressione su larga area).
  2. Criterio di Spazio (Edge Gap): Analizza le bande ai bordi (vicino alle traverse) per rilevare perdite localizzate di ballast.
     Un'area è classificata come "insufficiente" se soddisfa uno dei due criteri o se il modello YOLO lo indica.

3. Contributi Chiave

1. Pipeline Integrata RGB-D: Unione di YOLOv8 per il rilevamento, SAM2 per la segmentazione precisa e l'estrazione di bounding box ruotate, adattate alla geometria ferroviaria.
2. Correzione del Bias Spaziale Robusta: Un metodo innovativo che utilizza il campionamento delle traverse, il fitting polinomiale con RANSAC e lo smoothing temporale per ottenere misurazioni di profondità coerenti senza calibrazione esterna.
3. Classificatore Dual-Criterio: Una strategia di classificazione che combina statistiche di profondità globale e indicatori di gap localizzati per identificare con alta precisione le carenze di ballast.

4. Risultati Sperimentali

Il sistema è stato testato su dati reali raccolti con una camera Intel RealSense D435 su binari ferroviari (1.405 immagini per l'addestramento, 418 per il test).

• Confronto Baseline: Il modello YOLO-only ha ottenuto una precisione elevata (0.99) ma una recall molto bassa (0.49), fallendo nel rilevare la maggior parte delle carenze.
• Miglioramento con Profondità: L'integrazione della correzione della profondità e delle bounding box ruotate ha portato a miglioramenti sostanziali:
  • La Recall per il ballast insufficiente è aumentata da 0.49 a 0.80 (e fino a 0.90 in configurazioni specifiche con criteri multipli).
  • Il F1-score è migliorato da 0.66 a oltre 0.80 (raggiungendo 0.8127 nella configurazione ottimale che combina tutti i criteri).
  • La configurazione finale (CD-YOLO-SAM2-RBB-C1-C2-CY) ha raggiunto una precisione di 0.8623 e una recall di 0.7539, bilanciando efficacemente la sicurezza (minori falsi negativi) e l'affidabilità.

5. Significato e Impatto

Questo lavoro dimostra che l'integrazione di dati di profondità corretti geometricamente con modelli di deep learning avanzati è essenziale per l'ispezione ferroviaria automatizzata.

• Sicurezza: Risolve il problema critico dei falsi negativi nei sistemi basati solo su RGB, riducendo il rischio di non rilevare condizioni di ballast pericolose.
• Robustezza: La correzione della distorsione del sensore rende il sistema affidabile anche in condizioni ambientali variabili e con inclinazioni del sensore.
• Scalabilità: Il framework offre una base solida per sistemi di manutenzione ferroviaria automatizzati, con potenziali sviluppi futuri verso l'uso di più telecamere e l'analisi di continuità temporale su treni in movimento.

In sintesi, il metodo proposto trasforma l'ispezione del ballast da un processo visivo soggettivo a una valutazione geometrica quantitativa, precisa e sicura.