A Two-Stage Detection-Tracking Framework for Stable Apple Quality Inspection in Dense Conveyor-Belt Environments

Questo lavoro presenta un framework a due stadi che combina rilevamento YOLOv8, tracciamento ByteTrack e classificazione ResNet18 per garantire un'ispezione stabile e coerente della qualità delle mele su nastri trasportatori industriali, superando le limitazioni delle valutazioni basate su singoli fotogrammi.

L'essenziale

Immagina di essere in una fabbrica di mele dove un nastro trasportatore corre velocissimo. Le mele sono stipate una accanto all'altra, si muovono, a volte si coprono a vicenda e la luce cambia. Il compito della macchina è dire: "Questa mela è perfetta" oppure "Questa mela ha un difetto".

Il problema? Se guardi le mele fotogramma per fotogramma (come se fossero foto singole), la macchina va in confusione. Una mela potrebbe sembrare perfetta in un secondo e avere un difetto nel successivo, solo perché è passata un'ombra o si è mossa di scatto. È come se un giudice cambiasse idea ogni millisecondo: "Colpevole... No, innocente... No, colpevole!". Il risultato sarebbe un caos.

Gli autori di questo studio (Park, Pal e Mok) hanno creato un sistema intelligente per risolvere questo problema. Ecco come funziona, passo dopo passo, con delle analogie:

1. Il Rilevatore (L'Occhio Esperto)

Prima di tutto, il sistema deve trovare le mele.

• Cosa fanno: Usano un modello chiamato YOLOv8.
• L'analogia: Immagina un ispettore che ha passato anni a guardare mele in un frutteto (con alberi, cielo e luce naturale). Ora, questo stesso ispettore viene mandato nella fabbrica. Anche se l'ambiente è diverso (nastro trasportatore invece di un albero), il suo occhio è così allenato che riesce a dire: "Ehi, quella è una mela!" anche nel caos della fabbrica, senza bisogno di riaddestrarlo da zero.

2. Il Tracciatore (Il Custode dei Nomi)

Una volta trovate le mele, il sistema deve tenerle d'occhio mentre corrono sul nastro.

• Cosa fanno: Usano un algoritmo chiamato ByteTrack.
• L'analogia: Senza questo, ogni volta che una mela passa dietro un'altra, il sistema potrebbe pensare: "Oh, quella mela è sparita! Ehi, ecco una nuova mela!". È come se in una folla qualcuno ti desse un numero, poi lo togliesse e te ne desse un altro ogni volta che ti giri.
  Con ByteTrack, è come se ogni mela ricevesse un braccialetto con un nome (un ID univoco) appena entra. Anche se si nasconde dietro un'altra mela o si muove velocemente, il sistema sa che "Mela #45" è sempre la stessa "Mela #45". Non perde mai il contatto.

3. Il Classificatore (Il Medico delle Mele)

Ora che sa quale mela sta guardando, deve decidere se è sana o malata.

• Cosa fanno: Usano una rete neurale (ResNet18) addestrata su foto di mele sane e mele con macchie, marciumi o scabbia.
• L'analogia: È come un medico specializzato che esamina una foto della mela e dice: "Questa ha un livido". Ma se guardi solo una foto al volo, il medico potrebbe sbagliare perché la mela è sfocata o c'è un riflesso.

4. La Magia: L'Aggregazione (Il Consiglio di Amministrazione)

Qui sta il vero segreto del paper. Invece di prendere una decisione basata su una singola foto, il sistema aspetta e raggruppa.

• Cosa fanno: Usano un "voto a maggioranza" su tutta la durata in cui la mela è visibile (il "tracciato").
• L'analogia: Immagina che il medico (il classificatore) guardi la mela #45 per 10 secondi.
  • Secondo 1: "Sembra sana".
  • Secondo 2: "Aspetta, c'è un'ombra, sembra rotta".
  • Secondo 3: "No, è sana".
  • ...
  • Secondo 10: "Sana".
    Se prendessimo solo il secondo 2, scarteremmo una mela buona. Invece, il sistema fa un consiglio di amministrazione: "Abbiamo visto 9 volte che è sana e 1 volta che sembrava rotta. La decisione finale è: SANA".
    Questo elimina gli errori dovuti a sfocature o ombre momentanee.

Perché è importante?

Prima, le macchine industriali guardavano le mele come se fossero foto staccate. Ora, grazie a questo sistema, le guardano come se fossero film.

• Risultato: Meno mele buone buttate via per errore e meno mele marce che passano inosservate.
• Metriche nuove: Gli autori hanno inventato nuovi modi per misurare la qualità, non solo "quante mele ha trovato", ma "quanto è stabile la sua decisione nel tempo".

In sintesi

Hanno creato un sistema che:

1. Vede le mele (anche se viene da un frutteto).
2. Ricorda chi è ogni mela mentre corre (non le confonde).
3. Pensa prima di decidere, guardando la storia completa della mela invece di un singolo istante.

È come passare da un giudice che grida la sentenza dopo un secondo di ascolto, a un giudice che ascolta tutto il processo, valuta le prove nel tempo e poi emette una sentenza stabile e giusta. Un passo fondamentale per rendere l'agricoltura moderna più intelligente e meno sprecona.

Sommario tecnico

Titolo del Lavoro

Un Framework a Due Stadi di Rilevamento e Tracciamento per l'Ispezione di Qualità Stabile delle Mele in Ambienti Densi su Nastro Trasportatore

1. Il Problema

I sistemi di ispezione della qualità della frutta industriale devono operare in ambienti dinamici caratterizzati da interazioni dense tra oggetti multipli e movimento continuo. Sebbene i recenti progressi nel deep learning (es. modelli YOLO) abbiano migliorato notevolmente il rilevamento e la classificazione degli oggetti, la maggior parte delle ricerche esistenti si concentra su:

• Valutazione a livello di immagine: I modelli sono addestrati e testati su dataset statici, ignorando la coerenza temporale nei flussi video.
• Instabilità nelle previsioni: In ambienti industriali reali (come nastri trasportatori), fattori come sfocatura da movimento, occlusione parziale e variazioni di illuminazione causano fluttuazioni nelle previsioni frame-by-frame. Questo porta a risultati di classificazione inaffidabili e instabili per singolo frutto.
• Divario di dominio: I modelli addestrati in ambienti di frutteto (luce naturale, sfondi complessi) spesso subiscono un degrado delle prestazioni quando vengono implementati in ambienti industriali chiusi senza un adattamento specifico.

L'obiettivo è colmare il divario tra i benchmark basati su immagini e il dispiegamento industriale reale, garantendo decisioni stabili e coerenti per ogni singolo oggetto nel tempo.

2. Metodologia

Gli autori propongono un framework a due stadi che integra rilevamento, tracciamento e classificazione dei difetti, con un focus specifico sulla stabilizzazione temporale. Il sistema è composto dai seguenti componenti:

• Rilevamento (Detection):

  • Viene utilizzato un modello YOLOv8 pre-addestrato su dataset di mele raccolti in frutteti.
  • Il modello localizza le mele in ogni frame del video del nastro trasportatore, generando un insieme di riquadri delimitanti (bounding boxes).
  • Nota: Il modello viene utilizzato direttamente senza ulteriore fine-tuning sul dominio industriale, testando così la robustezza cross-domain.

• Tracciamento Multi-Obiettivo (Multi-Object Tracking - MOT):

  • Per mantenere identità coerenti attraverso i frame, viene integrato l'algoritmo ByteTrack.
  • ByteTrack associa i riquadri di rilevamento tra frame consecutivi, assegnando un ID univoco a ogni istanza di mela. Questo previene il cambio di identità (ID switching) in ambienti densi e permette il ragionamento a livello di oggetto.

• Classificazione dei Difetti:

  • Per ogni regione ritagliata (crop) associata a una mela rilevata, viene applicato un classificatore basato su ResNet18.
  • Il modello è inizializzato con pesi ImageNet e fine-tunato su un dataset "Sano-Difettoso" (Healthy-Defective) che include categorie come fresco, ammaccature, marciume e ruggine.
  • Durante l'inferenza, le classi vengono aggregate in un'etichetta binaria (normale vs. difettoso) per la valutazione industriale.

• Aggregazione a Livello di Traccia (Track-Level Aggregation):

  • Per mitigare l'oscillazione delle previsioni frame-by-frame, il sistema raccoglie tutte le previsioni di classificazione associate a una singola traccia (ID di tracciamento).
  • Viene applicata una votazione a maggioranza su tutte le previsioni della traccia per determinare l'etichetta finale di qualità. Questo processo garantisce la coerenza temporale e stabilizza la decisione finale.

• Pipeline Completa:

  1. Rilevamento mele (YOLOv8).
  2. Assegnazione ID traccia (ByteTrack).
  3. Ritaglio e classificazione (ResNet18).
  4. Aggregazione delle previsioni per traccia (Votazione a maggioranza).

3. Contributi Chiave

1. Framework Integrato: Proposta di una pipeline unificata che combina rilevamento, tracciamento e classificazione specifica per l'ispezione della qualità delle mele su nastri trasportatori densi.
2. Stabilizzazione Temporale: Introduzione dell'aggregazione a livello di traccia per ridurre l'instabilità delle previsioni causata da artefatti video (movimento, luce), superando i limiti della classificazione frame-wise.
3. Metriche Industriali Video-Livello: Definizione di nuove metriche di valutazione specifiche per il contesto industriale, tra cui:
   • Rapporto di difetti a livello di traccia (Track-level defect ratio).
   • Stabilità temporale (Temporal stability): Misura la frequenza dei cambiamenti di etichetta lungo una traccia.
4. Valutazione Cross-Domain: Studio preliminare che valuta la robustezza di un modello addestrato in frutteto quando applicato direttamente a video industriali, evidenziando l'importanza della modellazione temporale anche in presenza di shift di dominio.

4. Risultati Attesi e Discussione

Sebbene lo studio sia presentato come una "studio di fattibilità preliminare", i risultati attesi e le ipotesi del lavoro indicano:

• Migliore Stabilità: L'integrazione del tracciamento (ByteTrack) e dell'aggregazione a votazione a maggioranza riduce significativamente l'oscillazione delle previsioni rispetto all'inferenza frame-wise.
• Decisioni più Affidabili: La stabilità temporale migliora l'affidabilità della stima del rapporto di difetti a livello di video, rendendo il sistema più adatto al dispiegamento industriale.
• Robustezza: Nonostante lo shift di dominio (frutteto vs. nastro industriale), il rilevamento YOLOv8 mantiene prestazioni elevate, dimostrando che l'architettura proposta può gestire ambienti complessi senza un addestramento specifico su dati industriali annotati.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il focus della ricerca sull'ispezione della qualità della frutta dai benchmark statici basati su immagini a scenari dinamici basati su video.

• Impatto Industriale: Dimostra che per i sistemi di classificazione automatica pratici è essenziale considerare la coerenza temporale degli oggetti. Senza tracciamento, i sistemi industriali rischiano di generare falsi positivi/negativi a causa di fluttuazioni temporanee.
• Ponte tra Ricerca e Applicazione: Le metriche proposte (stabilità temporale, rapporto di difetti per traccia) offrono un modo più realistico per valutare le prestazioni dei sistemi di visione artificiale in contesti di produzione reale.
• Futuri Sviluppi: Il lavoro apre la strada a ricerche su tecniche di generalizzazione del dominio, integrazione multi-camera e validazione su larga scala in ambienti industriali reali.

In sintesi, il paper dimostra che un approccio "consapevole del tracciamento" (tracking-aware) è fondamentale per trasformare i modelli di visione artificiale da strumenti di ricerca accademica a soluzioni robuste per l'agricoltura di precisione industriale.