Deep Learning-Based Meat Freshness Detection with Segmentation and OOD-Aware Classification

Deze studie presenteert een deep learning-framework voor de detectie van vleesversheid dat U-Net-segmentatie combineert met een OOD-bewuste classificatie, waarbij EfficientNet-B0 de hoogste nauwkeurigheid bereikte en de haalbaarheid voor mobiele implementatie werd aangetoond.

De kern

🥩 De "Slimme Slager": Hoe een App de Versheid van Vlees Kan Checken

Stel je voor dat je in de supermarkt staat en een pakketje vlees vasthoudt. Je twijfelt: is dit nog vers, of moet ik het wegdoen? Normaal gesproken moet je het pakketje openmaken, ruiken en kijken. Maar wat als je dat niet wilt? Of wat als je een computer wilt die dit voor je doet?

Dit wetenschappelijke artikel beschrijft precies zo'n slimme computer-app. Het is een soort "digitale slager" die foto's van vlees bekijkt en zegt: "Dit is vers," "Dit is bedorven," of "Ik weet het niet zeker, vraag een mens."

Hier is hoe het werkt, stap voor stap:

1. De "Scheermesje"-Stap: Alleen het Vlees Bekijken 📸

Stel je voor dat je een foto maakt van een stuk vlees op een plastic dienblad, met een glimmende verpakking en een rommelige achtergrond. Voor een computer is dat chaos. Het ziet te veel "ruis" (het plastic, het licht, de randen van het dienblad).

De onderzoekers hebben daarom eerst een scheermesje gebruikt (in de computerwereld heet dit segmentatie).

• De Analogie: Denk aan een schilder die een foto van een persoon in een drukke stad wil kopiëren. Eerst knipt hij de persoon eruit en plakt hem op een witte achtergrond. Zo ziet de computer alleen het vlees en niet de rommel eromheen.
• Het Resultaat: De computer snijdt het vlees perfect uit de foto. Dit maakt de volgende stap veel makkelijker en nauwkeuriger.

2. De "Onderwijzer" die Vlees Leert Herkennen 🎓

Nu het vlees geïsoleerd is, moet de computer leren wat "vers" is en wat "bent" is. Ze hebben vijf verschillende "leerlingen" (computermodellen) getraind:

• ResNet-50: Een ervaren, sterke leerling.
• ViT en Swin: Moderne, slimme leerlingen die goed kijken naar patronen.
• EfficientNet en MobileNet: Snelle, wendbare leerlingen die perfect zijn voor telefoons.

Ze hebben deze modellen getraind met duizenden foto's van zowel open vlees (zoals in de versafdeling) als verpakt vlees (zoals in de supermarkt).

• De Uitslag: De winnaar was EfficientNet-B0. Deze leerling was niet alleen heel slim (98% correct), maar ook nog eens supersnel. Hij kon een oordeel vellen in een flits, net als een snelle kok.

3. De "Veiligheidsnet"-Stap: Wat als je het niet weet? 🛑

Dit is het meest interessante deel. Stel, je houdt een foto van een lege bak voor de camera, of het vlees is zo glimmend door het licht dat de computer het niet kan zien. Een domme computer zou dan raden: "Ik denk dat het vers is!" (en dat zou fout zijn).

De onderzoekers hebben een veiligheidsnet toegevoegd.

• De Analogie: Stel je voor dat je een quizvraagt stelt aan een leerling. Als de leerling het antwoord niet weet, zegt hij niet zomaar iets, maar roept hij: "Ik geef het antwoord niet op!"
• Hoe het werkt: Als de computer twijfelt (bijvoorbeeld door een rare glans op het plastic), zegt hij: "Geen Resultaat". Hij geeft geen antwoord, maar zegt: "Kijk dit zelf na." Dit voorkomt dat mensen op basis van een fout computerantwoord ziek worden.

4. De "Telefoon-Test": Werkt het in de echte wereld? 📱

De onderzoekers wilden weten of dit ook op een gewone smartphone werkt, niet alleen op een dure supercomputer.

• Ze hebben de slimste modellen op een Samsung-telefoon getest.
• Het Resultaat: De snelle modellen (zoals MobileNet) deden het in 6 milliseconden. Dat is sneller dan je kunt knipperen! Je kunt dus een foto maken en direct een antwoord krijgen, terwijl je in de supermarkt staat.

🌟 Waarom is dit belangrijk?

1. Geen Gooien: Het helpt voedselverspilling te voorkomen door te zeggen wat echt bedorven is.
2. Veiligheid: Het helpt mensen ziektes te voorkomen door bedorven vlees te herkennen.
3. Slimme Veiligheid: Door te zeggen "Ik weet het niet" bij twijfel, is het systeem eerlijker en veiliger dan eerdere systemen die altijd een gokje waagden.

Kortom: De onderzoekers hebben een slimme app gebouwd die eerst het vlees uit de foto knipt, dan met een supersnel brein beoordeelt of het vers is, en als het twijfelt, gewoon zegt: "Vraag een mens." Het is een stap richting een veiligere en minder verspillende wereld, recht in je broekzak.

Technische samenvatting

Probleemstelling

De toenemende consumptie van vlees vereist praktische tools voor het monitoren van voedselveiligheid en kwaliteit. Traditionele methoden voor het beoordelen van vleesversheid (zoals chemische analyse en sensorische evaluatie) zijn vaak invasief, duur en afhankelijk van expertkennis. Bestaande computervisie-oplossingen op basis van RGB-afbeeldingen hebben vaak te kampen met beperkingen:

1. Focus op onverpakt vlees: Veel studies negeren verpakt vlees, wat extra visuele complexiteit introduceert door reflecties, glans van de folie en verpakkingsartefacten.
2. Gebrek aan robuustheid: Bestaande systemen gaan er vaak van uit dat alle invoer tot bekende klassen behoort. Ze missen mechanismen om onzekere of "out-of-distribution" (OOD) invoer (bijv. lege bakken, achtergronden) te herkennen, wat kan leiden tot overmoedige en onjuiste voorspellingen.
3. Ontbreken van eenheid: Er is weinig onderzoek naar de impact van expliciete segmentatie op de downstream-classificatie, vooral bij het vergelijken van CNN- en Transformer-architecturen onder één evaluatieprotocol.

Methodologie

De auteurs stellen een tweestaps-pipeline voor die zowel verpakt als onverpakt vlees verwerkt, met een focus op robuustheid en inzetbaarheid.

1. Dataverzameling en Voorverwerking

• Dataset: Een gecombineerde dataset van 6.256 unieke afbeeldingen, samengesteld uit openbare bronnen (onverpakt) en een nieuw verzamelde dataset (verpakt vlees uit lokale supermarkten in Alabama).
• Klassen: Vier in-distribution (ID) klassen: Onverpakt Vers, Onverpakt Bedorven, Verpakt Vers, Verpakt Bedorven.
• OOD-data: Een aparte set van 800 "No Result"-afbeeldingen (lege bakken, achtergronden) voor het evalueren van het afwijzingsmechanisme.
• Labeling: Gebaseerd op visuele AMSA-standaarden (kleur, vocht, textuur) en een tijdsgebonden regel (vers binnen 10-36 uur bij kamertemperatuur).
• Data Cleaning: Toepassing van perceptuele hashes (pHash) om bijna-duplicaten te verwijderen en data-lekkage te voorkomen.

2. Architectuur en Pipeline

• Stap 1: Segmentatie (U-Net): Een U-Net-model (met ResNet-encoders) wordt gebruikt om het vleesgebied te isoleren en achtergrondruis (bakken, reflecties) te verwijderen. Dit dient als voorverwerking om consistente invoer voor de classifier te garanderen. Pseudo-ground truth masks werden gegenereerd met een adaptieve GrabCut-procedure.
• Stap 2: Classificatie: Vijf verschillende backbones werden getest:
  • CNN's: ResNet-50, EfficientNet-B0, MobileNetV3-Small.
  • Transformers: Vision Transformer-Base/16 (ViT-B/16), Swin Transformer-Tiny (Swin-T).
• OOD-Aware Afwijzing: Het systeem gebruikt een "abstention mechanism". Als de maximale softmax-probabiliteit (MSP) onder een bepaalde drempel ($\tau$) ligt, geeft het systeem "Geen Resultaat" (No Result) in plaats van een gedwongen voorspelling. Andere scores (Energy, ODIN) werden ook geëvalueerd.

3. Evaluatieprotocol

• Nested Cross-Validation: Een 5x3-nested CV protocol werd gebruikt voor hyperparameter-tuning en modelselectie om bias te minimaliseren.
• Hardware: Inference-tijd werd gemeten op een smartphone (Samsung Galaxy A55) met TensorFlow Lite (TFLite) om de praktische inzetbaarheid te beoordelen.

Belangrijkste Bijdragen

1. Unificatie van Verpakt en Onverpakt: Een eerste pipeline die beide scenario's behandelt, inclusief de uitdagingen van verpakkingsreflecties.
2. Segmentatie als Preprocessing: Het demonstreren dat U-Net-segmentatie de achtergrondruis reduceert en de classificatie stabiliseert, met gedetailleerde rapportage van IoU en Dice-coëfficiënten.
3. Uitgebreide Benchmark: Een eerlijke vergelijking van vijf state-of-the-art backbones (CNN en Transformer) onder strikte nested CV-voorwaarden.
4. OOD-Mechanisme: Implementatie en evaluatie van een afwijzingsmechanisme voor onzekere invoer, wat cruciaal is voor veilige toepassing in de echte wereld.
5. Edge-Deployment Analyse: Rapportage van latentie en prestaties op mobiele hardware, wat een realistisch beeld geeft van de afweging tussen nauwkeurigheid en snelheid.

Resultaten

Segmentatie

• De U-Net met ResNet-34 als encoder presteerde het beste met een IoU van 74,94% en een Dice-coëfficiënt van 81,88%. Dit bewees dat de achtergrondeffectief werd onderdrukt.

Classificatie (In-Distribution)

• Op de geteste dataset (N=843) behaalde EfficientNet-B0 de hoogste nauwkeurigheid van 98,10%.
• ResNet-50 en MobileNetV3-Small volgden met 97,63%.
• Swin-T behaalde 97,51%.
• ViT-B/16 presteerde significant slechter (94,42%), waarschijnlijk vanwege de beperkte datasetgrootte en de complexiteit van het trainen van Transformers zonder zeer grote datasets.
• Statistische tests (McNemar) bevestigden dat de verschillen tussen de topmodellen en ViT-B/16 significant zijn.

OOD-Detectie

• Het afwijzingsmechanisme (No Result) bleek effectief in het filteren van lage-vertrouwensvoorspellingen.
• De Energy-score en ODIN presteerden over het algemeen beter dan de standaard MSP voor het scheiden van OOD-data, hoewel de prestaties per model varieerden.

Efficiëntie en Latentie

• MobileNetV3-Small was de snelste (6,36 ms) met een hoge nauwkeurigheid, ideaal voor real-time toepassingen.
• EfficientNet-B0 bood de beste balans tussen nauwkeurigheid (98,10%) en snelheid (17,21 ms).
• Transformer-modellen (Swin-T, ViT-B/16) hadden aanzienlijk hogere latentie (108 ms en 462 ms respectievelijk) op mobiele apparaten.

Betekenis en Conclusie

Dit onderzoek levert een robuust, schaalbaar en praktisch kader voor de detectie van vleesversheid. De belangrijkste inzichten zijn:

• Segmentatie is essentieel: Het isoleren van het vleesgebied verbetert de consistentie van de invoer, vooral bij verpakt vlees met reflecties.
• Veiligheid door afwijzing: Het integreren van een OOD-aware mechanisme voorkomt dat het systeem foutieve voorspellingen doet bij onbekende situaties (bijv. lege bakken), wat cruciaal is voor consumentenapplicaties.
• Efficiëntie vs. Nauwkeurigheid: Voor mobiele implementatie zijn lichtgewicht CNN's (EfficientNet-B0, MobileNetV3-Small) superieur aan zware Transformers, gezien de vergelijkbare nauwkeurigheid maar veel lagere latentie.

De auteurs concluderen dat hun framework een betrouwbare basis vormt voor toekomstige voedselveiligheidssystemen, hoewel toekomstig werk gericht moet zijn op validatie met microbiologische metingen en uitbreiding naar variërende lichtomstandigheden.