A Two-Stage Detection-Tracking Framework for Stable Apple Quality Inspection in Dense Conveyor-Belt Environments

Dit artikel presenteert een robuust tweestapskader voor kwaliteitsinspectie van appels op transportbanden, dat YOLOv8-detectie combineert met ByteTrack-tracking en ResNet18-classificatie om tijdsconsistentie te waarborgen en oscillaties in voorspellingen te verminderen.

De kern

Titel: Hoe we appels op een lopende band laten tellen zonder in de war te raken

Stel je voor dat je een enorme, snelle lopende band hebt, volgepropt met appels. Ze schuiven razendsnel voorbij, soms overlappen ze elkaar, soms flitst het licht, en soms is er een beetje wazigheid door de beweging. Het doel? Kijken of elke appel gezond is of beschadigd, en dat in één oogopslag doen voor duizenden appels.

Dit is precies het probleem dat de onderzoekers in dit papier proberen op te lossen. Ze hebben een slimme computer-systeem bedacht dat niet alleen naar één plaatje kijkt, maar naar de hele film. Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Flitsende" Camera

Stel je voor dat je een camera hebt die elke seconde 30 foto's maakt van de appels. Als je alleen naar die losse foto's kijkt, kan de computer in de war raken.

• Op foto 1 ziet een appel er perfect uit.
• Op foto 2, door een beetje bewegingsonduidelijkheid of een schaduw, denkt de computer: "Oh, die is rot!"
• Op foto 3 denkt hij weer: "Nee, hij is weer gezond!"

Dit noemen ze fluctuaties. Voor een fabriek is dit een ramp. Als de computer elke seconde van mening verandert, weet je niet of je de appel moet weggooien of niet. Het is alsof je een vriend hebt die elke seconde zegt: "Ik ben blij!" en dan "Ik ben verdrietig!" en dan weer "Ik ben blij!". Je weet niet wat je moet doen.

2. De Oplossing: Een Tweestaps-Plan

De onderzoekers hebben een systeem gebouwd dat werkt als een slimme detective met een herinneringsboek. Het heeft drie stappen:

Stap 1: De Jager (YOLOv8)

Eerst gebruikt het systeem een slimme jager genaamd YOLOv8. Deze jager is getraind in een boomgaard (waar appels aan bomen hangen) om appels te vinden. Hij is zo goed dat hij ze ook herkent op de lopende band in de fabriek, zelfs als de omgeving anders is. Hij schreeuwt: "Daar is een appel!" en plakt een kader eromheen.

Stap 2: De Identiteitsbewaarder (ByteTrack)

Dit is het magische deel. Normaal zou de computer bij elke nieuwe foto weer opnieuw beginnen. Maar dit systeem gebruikt ByteTrack.
Stel je voor dat elke appel een naamplaatje krijgt (een ID).

• Als appel "Jan" op foto 1 verschijnt, krijgt hij een naamplaatje.
• Als "Jan" op foto 2 net iets anders staat, kijkt de computer niet naar de foto, maar zegt hij: "Ah, dat is nog steeds Jan!"
• Zelfs als "Jan" even wordt geblokkeerd door een andere appel, weet het systeem wie hij is zodra hij weer zichtbaar is.

Dit zorgt ervoor dat de computer niet naar losse appels kijkt, maar naar verhalen van appels.

Stap 3: De Oordeelsvriend (ResNet18 + Stemming)

Nu kijkt de computer naar de gezondheid van "Jan".

• Soms zegt hij: "Gezond".
• Soms zegt hij: "Beschadigd" (omdat het licht even raar viel).
• Soms weer: "Gezond".

In plaats van te beslissen op basis van één foto, doet het systeem wat meerderheidsstemming. Het kijkt naar alle foto's van "Jan" die hij heeft gezien. Als "Jan" in 9 van de 10 foto's gezond leek, dan is hij gezond. Alleen als hij consequent ziek lijkt, wordt hij afgekeurd.

Dit is als een jury die niet oordeelt op basis van één getuige, maar op basis van het hele verhaal.

3. Waarom is dit belangrijk?

Vroeger keken computersystemen alleen naar losse foto's (zoals een stroboscoop). Dat werkte niet goed op een snelle lopende band omdat de computer te vaak van mening veranderde.

Met dit nieuwe systeem:

• Stabiliteit: De beslissingen zijn rustig en betrouwbaar.
• Snelheid: Het werkt in real-time, terwijl de band draait.
• Realiteit: Het is getest op echte video's van lopende banden, niet alleen op statische foto's.

De Grootte van de Idee

Kortom: De onderzoekers hebben een systeem bedacht dat appels niet ziet als losse plaatjes, maar als levende objecten met een geschiedenis. Door te kijken naar de hele reis van een appel op de band, in plaats van alleen naar één moment, kunnen ze veel nauwkeuriger en rustiger beslissen welke appel goed is en welke niet.

Het is het verschil tussen iemand die schreeuwt "Het is raar!" bij elke flits van een camera, en een ervaren inspecteur die rustig zegt: "Die appel is in orde, ik heb hem de hele weg gevolgd."

Technische samenvatting

Probleemstelling

In industriële verwerkingsomgevingen, zoals transportbanden in fruitverpakkingscentra, moeten kwaliteitscontrolesystemen betrouwbaar werken onder complexe omstandigheden: dichte objectinteracties, continue beweging, bewegingsonscherpte, gedeeltelijke occlusie (verduistering) en variaties in verlichting.
Bestaande systemen focussen vaak op beeldniveau (image-level) detectie of classificatie. Dit leidt tot onstabiele resultaten in videostreams, waarbij de voorspelling per frame kan oscilleren (bijvoorbeeld een appel wordt in één frame als "ziek" en in het volgende als "gezond" geclassificeerd) door de bovengenoemde factoren. Er ontbreekt een mechanisme voor temporale consistentie (tijdgebonden stabiliteit) op objectniveau, wat essentieel is voor betrouwbare industriële sortering.

Methodologie

Het paper stelt een tweestaps detectie-volgsysteem voor dat is ontworpen voor stabiele kwaliteitsinspectie van appels op transportbanden. De pijlers van de methode zijn:

1. Detectie (YOLOv8):

   • Een YOLOv8-model, dat is getraind op data uit boomgaarden (orchard-trained), wordt gebruikt om appels in elke video-frame te lokaliseren.
   • Dit model wordt zonder extra fine-tuning direct toegepast op industriële transportband-scènes om de robuustheid over domeinen heen te evalueren.

2. Multi-Object Tracking (ByteTrack):

   • Om persistente identiteiten te behouden over opeenvolgende frames, wordt ByteTrack gebruikt.
   • Deze tracker koppelt detecties aan elkaar en wijst unieke Track-ID's toe aan elke appel, zelfs in dichte omgevingen waar appels elkaar overlappen. Dit voorkomt dat objecten hun identiteit verliezen of wisselen.

3. Defect Classificatie (ResNet18):

   • Voor elke gedetecteerde appel wordt het bijbehorende gebied uitgesneden (cropped).
   • Een ResNet18-model, geïnitieerd met ImageNet-weights en fijn afgestemd (fine-tuned) op een dataset met gezonde en defecte fruit (Healthy-Defective dataset), voert de kwaliteitsclassificatie uit.

4. Aggregatie op Track-niveau (Temporal Stabilization):

   • In plaats van een beslissing per frame te nemen, worden alle voorspellingen voor een specifieke track (een appel die door de video beweegt) verzameld.
   • Er wordt meerderheidsstemming (majority voting) toegepast op deze verzameling voorspellingen om de definitieve kwaliteitslabel voor die appel te bepalen. Dit vermindert ruis en fluctuaties veroorzaakt door beweging of licht.

Belangrijkste Bijdragen

• Geïntegreerd Kader: Een uniek framework dat detectie, tracking en classificatie combineert in een enkele videobased pipeline, specifiek gericht op industriële transportbanden.
• Temporale Stabiliteit: De introductie van aggregatie op track-niveau om frame-voor-frame inconsistenties te mitigeren, wat cruciaal is voor betrouwbare sortering.
• Nieuwe Evaluatiemetrics: Definities van industriële metrics op videoniveau, waaronder:
  • Defect Ratio op track-niveau: Het percentage tracks dat als defect wordt gemarkeerd.
  • Temporale Stabiliteit: Een maatstaf voor hoe vaak de voorspelling per track verandert (minder veranderingen = beter).
• Domein-overschrijdende Robuustheid: Het demonstreren dat een model getraind op boomgaard-data (natuurlijk licht) bruikbaar is in industriële omgevingen, mits gecombineerd met tracking.

Resultaten en Verwachte Uitkomsten

Hoewel het paper een "preliminair haalbaarheidsonderzoek" is, worden de volgende resultaten verwacht en onderbouwd:

• Verbeterde Stabiliteit: Het systeem met tracking en aggregatie toont aanzienlijk minder voorspellingsschommelingen dan systemen die puur op frame-voor-frame classificatie vertrouwen.
• Betrouwbare Defectschatting: Door de meerderheidsstemming wordt de schatting van het defectpercentage op videoniveau betrouwbaarder.
• Kwaliteitsverbetering: De ResNet18-classificator presteert sterk op statische testsets, en de tracking-layer zorgt ervoor dat deze prestaties vertaalbaar zijn naar dynamische video's.
• Cross-Domain Generalisatie: De YOLOv8-detecteur werkt effectief in de industriële setting zonder extra training, hoewel er enige prestatiedaling door domeinverschuiving (licht, achtergrond) mogelijk is.

Significantie

Dit onderzoek vult een belangrijke kloof tussen academische beeldherkenningsbenchmarks en de praktijk van industriële fruitverwerking.

• Industriële Toepasbaarheid: Het benadrukt dat voor praktische sorteringssystemen niet alleen hoge detectie-accuraatheid nodig is, maar ook temporale consistentie. Zonder tracking zijn sorteerbeslissingen te onstabiel voor echte productielijnen.
• Nieuwe Evaluatiestandaard: Door metrics te introduceren die specifiek zijn voor video en tracks (in plaats van alleen per beeld), biedt het paper een betere manier om systemen te evalueren onder realistische, dynamische omstandigheden.
• Toekomstperspectief: Het werk legt de basis voor toekomstig onderzoek naar domeingeneralisatie, multi-camera integratie en grootschalige industriële validatie.

Kortom, het paper stelt dat het integreren van tracking in kwaliteitsinspectiesystemen geen optionele toevoeging is, maar een essentiële vereiste voor robuuste en betrouwbare geautomatiseerde fruitverwerking.