LoRA-Based Diffusion Data Augmentation for Underwater Garbage Detection: An Empirical Study with YOLOv8s

Il fondale oceanico è un luogo dove la luce fatica a raggiungere, e dove l'acqua stessa agisce come una densa, nebbiosa tenda. In queste profondità fioche e torbide, le bottiglie di plastica, le reti da pesca e gli pneumatici abbandonati che gli esseri umani hanno smarrito non giacciono chiaramente contro la sabbia. Sono spesso distorti dal modo in cui l'acqua piega la luce, oscurati da particelle sospese o nascosti nelle ombre. Per gli scienziati che cercano di pulire gli oceani, questa confusione visiva rappresenta un ostacolo maggiore. Per trovare e contare questo rifiuto sottomarino, si affidano a telecamere e computer, ma i computer devono essere addestrati su migliaia di esempi chiari per imparare cosa stanno cercando. Il problema è che le foto subacquee nitide sono incredibilmente difficili da scattare. L'ambiente è difficile da raggiungere, l'attrezzatura è costosa e le immagini esistenti sono spesso troppo sfocate o buie per essere utili per insegnare a un computer.

Per risolvere questa carenza di buoni dati di addestramento, i ricercatori si sono rivolti a un nuovo tipo di strumento: un'intelligenza artificiale capace di immaginare e creare immagini. Questi strumenti, noti come modelli generativi, possono produrre immagini che sembrano fotografie senza che sia mai stata usata una macchina fotografica. Tuttavia, chiedere semplicemente a un computer di "disegnare un sacchetto di plastica sott'acqua" spesso produce un'immagine che non somiglia affatto alla realtà. L'oggetto generato potrebbe avere la forma sbagliata, il colore sbagliato o apparire in un luogo in cui non dovrebbe stare. Se un computer impara da queste immagini false, potrebbe confondersi e fallire nel rilevare i rifiuti reali in seguito. La sfida, quindi, non è solo creare più immagini, ma creare immagini così convincenti e accurate da poter essere apprese dal computer come se fossero reali.

Un team di ricercatori ha deciso di testare se questo approccio potesse effettivamente funzionare per la pulizia dell'oceano. Si sono concentrati su un tipo specifico di sistema di intelligenza artificiale capace di generare immagini, combinato con un metodo per insegnare a quel sistema esattamente come appaiono i diversi tipi di rifiuti sottomarini. Non hanno cercato di sostituire interamente la necessità di foto reali; al contrario, volevano vedere se aggiungere un piccolo numero di immagini false accuratamente create a un set limitato di immagini reali potesse aiutare un rilevatore computerizzato a diventare più intelligente. Hanno scelto di studiare cinque tipi specifici di detriti comuni: sacchetti di plastica, guanti, mascherine, reti da pesca e lattine. Questi oggetti sono notoriamente difficili da individuare perché sono spesso trasparenti, accartocciati o si confondono con il fondale marino.

I ricercatori sono partiti da una collezione di foto subacquee reali che erano già state etichettate da esseri umani. Per garantire che il loro test fosse equo e i loro risultati affidabili, hanno separato attentamente queste foto reali in tre gruppi prima di iniziare qualsiasi generazione al computer. Un gruppo è stato utilizzato per insegnare al sistema di creazione delle immagini come dovesse apparire il rifiuto. Un altro gruppo è stato usato per addestrare il rilevatore computerizzato. Il terzo gruppo, che non è mai stato mostrato né al creatore di immagini né al rilevatore durante la fase di apprendimento, è stato conservato rigorosamente per il test finale. Questa stretta separazione ha impedito al computer di utilizzare le risposte del test durante la fase di apprendimento.

Per rendere utili le immagini false, il team ha utilizzato due tecniche speciali. In primo luogo, hanno insegnato al generatore di immagini a prestare attenzione ai dettagli specifici di ogni tipo di rifiuto. Hanno mostrato al sistema qualche decina di esempi reali di un sacchetto di plastica, di un guanto o di una rete, e hanno lasciato che il sistema imparasse il modo unico in cui questi oggetti appaiono sott'acqua: le loro pieghe, la loro trasparenza e come la luce blu-verde del mare profondo ne influenzi il colore. In secondo luogo, hanno dato al sistema una semplice mappa da seguire. Prima di generare un'immagine, i ricercatori hanno disegnato un riquadro su una tela bianca dove volevano che apparisse il rifiuto. Il sistema è stato quindi costretto a posizionare l'oggetto generato esattamente all'interno di quel riquadro. Ciò ha garantito che le immagini false corrispondessero alle etichette che il rilevatore computerizzato si aspettava di vedere, evitando confusione su dove si trovasse effettivamente l'oggetto.

Il team ha creato centinaia di immagini sintetiche, ma è stato molto selettivo su quali utilizzare. Hanno controllato manualmente le immagini generate, scartando quelle che apparivano troppo strane, avevano forme rotte o non corrispondevano all'etichetta. Solo le migliori immagini sono state aggiunte al set di addestramento per il rilevatore computerizzato; nello specifico, sono state incluse solo 50 immagini sintetiche aggiuntive per ogni configurazione sperimentale. Hanno poi eseguito tre esperimenti diversi per vedere cosa sarebbe successo. Nel primo, il rilevatore è stato addestrato solo su foto reali. Nel secondo, hanno aggiunto immagini false che erano state generate senza un addestramento speciale sui tipi specifici di rifiuti. Nel terzo, hanno aggiunto le immagini false che erano state accuratamente calibrate per assomigliare ai singoli oggetti di rifiuto.

I risultati hanno mostrato che semplicemente aggiungere più immagini false non era sufficiente. Quando il rilevatore è stato addestrato con le immagini false non calibrate, le sue prestazioni sono in realtà peggiorate leggermente. È diventato meno accurato nel trovare i rifiuti e ne ha mancati più di prima. Ciò ha suggerito che se le immagini false apparivano troppo diverse dalla realtà, servivano solo a confondere il computer. Tuttavia, quando il rilevatore è stato addestrato con le immagini accuratamente calibrate, i risultati sono migliorati. Il computer è diventato più bravo a identificare i rifiuti, a trovarne di più e a localizzarli con maggiore precisione. L'accuratezza del rilevatore è salita da circa l'83 percento all'85 percento, e anche la sua capacità di trovare gli articoli corretti è migliorata.

Lo studio ha anche rivelato che questo miglioramento non è avvenuto allo stesso modo per ogni tipo di rifiuto. Il computer è diventato significativamente più bravo a individuare guanti, lattine e reti da pesca quando ha imparato dalle immagini false calibrate. Tuttavia, per le mascherine e i sacchetti di plastica, il miglioramento è stato molto minore e, in alcuni casi, le prestazioni non sono cambiate affatto. Ciò suggerisce che il metodo funziona meglio per oggetti che hanno una forma e una consistenza chiare, ma fatica con oggetti che sono molto sottili, trasparenti o facilmente deformabili. I ricercatori hanno concluso che, sebbene queste immagini generate dall'IA possano aiutare, non sono un sostituto perfetto dei dati reali. Sono un supplemento utile che può potenziare le prestazioni quando le foto reali sono scarse, ma devono essere create con grande cura e controllate per la qualità.

In definitiva, il lavoro dimostra che possiamo usare l'intelligenza artificiale per aiutare a risolvere il problema dell'inquinamento oceanico, ma la tecnologia deve essere guidata dalla comprensione umana. Al computer non può essere semplicemente ordinato di "fare più immagini"; deve essere insegnato il linguaggio visivo specifico del mondo sottomarino. Combinando dati reali con immagini sintetiche di alta qualità e accuratamente controllate, i ricercatori possono costruire strumenti migliori per monitorare e proteggere il fondale oceanico. Lo studio conferma che questo approccio è un passo promettente in avanti, offrendo un modo per sfruttare al meglio le risorse limitate pur riconoscendo che la complessità dell'ambiente sottomarino richiede ancora una gestione attenta.