Deep Learning-Based Meat Freshness Detection with Segmentation and OOD-Aware Classification

Diese Studie stellt ein Deep-Learning-Framework zur Erkennung von Fleischfrische vor, das eine U-Net-basierte Segmentierung mit einem OOD-bewussten Klassifizierungsansatz kombiniert, um auf RGB-Bildern vier Frischeklassen zu identifizieren und unsichere Vorhersagen auszuschließen, wobei EfficientNet-B0 mit 98,10 % Genauigkeit die beste Leistung erzielte und die praktische Einsetzbarkeit auf mobilen Geräten demonstriert wurde.

Das Wesentliche

🥩 Der „Fleisch-Check": Ein digitaler Supermarkt-Inspektor

Stellen Sie sich vor, Sie stehen im Supermarkt vor dem Kühlregal. Sie wollen wissen: Ist dieses Fleisch noch frisch oder schon verdorben? Normalerweise müssten Sie es mit der Nase riechen oder es von einem Experten begutachten lassen. Das ist aber nicht immer möglich, und manche Menschen trauen sich gar nicht, an die Verpackung zu gehen.

Diese Forscher haben einen digitalen Assistenten entwickelt, der genau das für Sie tut – nur mit einer Kamera und einem Smartphone.

1. Das große Problem: Der „Lärm" im Bild

Wenn Sie ein Foto von Fleisch machen, sieht die Kamera oft nicht nur das Fleisch. Sie sieht auch den Plastikverpackungsrand, den Teller darunter, Spiegelungen vom Licht oder sogar den Hintergrund. Das ist wie wenn Sie versuchen, ein Gespräch zu hören, aber im Raum lauter Bauarbeiten stattfinden. Die Kamera wird verwirrt und denkt vielleicht, die Spiegelung sei ein Zeichen für Verderb.

Die Lösung: Der „Ausschneide-Schere" (Segmentierung)
Bevor die KI das Fleisch beurteilt, macht sie etwas Cleveres: Sie schneidet das Fleisch quasi aus dem Bild heraus.

• Die Analogie: Stellen Sie sich vor, Sie haben ein Foto von einem Apfel auf einem bunten Tischtuch. Bevor Sie den Apfel schälen, schneiden Sie ihn mit einer Schere genau aus dem Tischtuch heraus. Jetzt liegt nur noch der Apfel da, sauber und ohne Ablenkung.
• In der Studie: Die Forscher nutzen ein KI-Modell (U-Net), das wie eine sehr geschickte Schere funktioniert. Es entfernt den „Müll" (Teller, Plastik, Hintergrund) und gibt der eigentlichen Prüfkammer nur noch das reine Fleisch zu sehen. Das macht die Prüfung viel genauer.

2. Die Prüfkammer: Fünf verschiedene Experten

Nachdem das Fleisch „herausgeschnitten" wurde, muss die KI entscheiden: Ist es frisch oder verdorben? Dafür haben die Forscher fünf verschiedene „Experten" (KI-Modelle) getestet, die alle unterschiedlich denken:

• Der Klassiker (ResNet-50): Ein bewährter, solider Experte.
• Der Moderne (Vision Transformer): Ein neuer Typ, der versucht, das ganze Bild auf einmal zu verstehen, wie ein Maler, der das gesamte Gemälde auf einen Blick erfasst.
• Der Schnelle (MobileNet & EfficientNet): Kleine, flinke Experten, die auch auf einem normalen Handy schnell arbeiten können.

Das Ergebnis: Der kleine, flinke Experte namens EfficientNet-B0 war der Gewinner. Er war am genauesten (fast 98 % richtig!) und gleichzeitig schnell genug, um auf einem Smartphone zu laufen. Der „Moderne" (Vision Transformer) war etwas langsamer und machte mehr Fehler, weil er für diese spezielle Aufgabe vielleicht zu kompliziert war.

3. Der Sicherheitsmechanismus: „Kein Ergebnis" statt „Raten"

Das ist der coolste Teil der Studie. Normalerweise zwingt man Computer dazu, eine Antwort zu geben, auch wenn sie sich nicht sicher sind. Das ist wie ein Schüler, der bei einer Prüfung eine Antwort rät, obwohl er nichts weiß – und dabei oft falsch liegt.

Diese Forscher haben dem System gesagt: „Wenn du dir nicht sicher bist, sag einfach: 'Kein Ergebnis'!"

• Die Analogie: Stellen Sie sich einen sehr ehrlichen Arzt vor. Wenn er eine Krankheit nicht sicher diagnostizieren kann, sagt er nicht „Es ist Grippe", sondern „Ich bin mir nicht sicher, gehen Sie zum Labor".
• In der Studie: Wenn das Bild zu dunkel ist, zu viel Glanz hat oder das Fleisch am Rand zwischen frisch und verdorben liegt, gibt das System keine falsche Vorhersage ab. Es warnt den Nutzer stattdessen: „Ich kann das nicht beurteilen." Das verhindert, dass jemand verdorbenes Fleisch isst, nur weil die KI zu selbstbewusst war.

4. Der Test im echten Leben (auf dem Handy)

Am Ende haben die Forscher ihre beste KI auf ein echtes Smartphone geladen.

• Das Ergebnis: Der „flinke Experte" (EfficientNet-B0) braucht nur etwa 17 Millisekunden für eine Prüfung. Das ist schneller als ein Blinzeln!
• Bedeutung: Das bedeutet, dass Sie in Zukunft vielleicht einfach Ihr Handy auf ein Fleischpaket halten, einen Knopf drücken und sofort wissen: „Frisch" oder „Wegwerfen".

Zusammenfassung in einem Satz

Die Forscher haben eine KI gebaut, die erst den „Unrat" aus dem Bild schneidet, dann mit einem schnellen und genauen Algorithmus das Fleisch prüft und – ganz wichtig – ehrlich sagt „Ich weiß es nicht", wenn sie unsicher ist, damit niemand versehentlich verdorbenes Fleisch isst.

Es ist wie ein digitaler, unermüdlicher Fleisch-Inspektor, der immer zur Hand ist, solange Sie ein Smartphone haben. 📱🥩🚫🤢

Technische Zusammenfassung

Technische Zusammenfassung: Deep Learning-basierte Fleischfrischeerkennung mit Segmentierung und OOD-bewusster Klassifizierung

1. Problemstellung
Der steigende Fleischkonsum erfordert zuverlässige Werkzeuge zur Überwachung der Lebensmittelsicherheit. Herkömmliche Methoden zur Frischebestimmung (chemische Analysen, sensorische Bewertungen) sind oft invasiv, teuer und von Expertenwissen abhängig. Bestehende computergestützte Ansätze basieren häufig auf spezialisierten Sensoren (z. B. Hyperspektralbildgebung) oder konzentrieren sich nur auf unverpacktes Fleisch unter kontrollierten Bedingungen.
Die Hauptherausforderungen in der Praxis sind:

• Komplexität verpackter Produkte: Reflexionen, Glanz auf Folien, Etiketten und Ablenkungen durch Verpackungen (Tabletts).
• Generalisierung: Mangelnde Robustheit gegenüber variierenden Lichtverhältnissen und Hintergrundclutter.
• Unsicherheitsbewusstsein: Die meisten Systeme treffen auch bei unbekannten Eingaben (Out-of-Distribution, OOD) zwingend eine Vorhersage, was zu übermäßig selbstbewussten, aber falschen Ergebnissen führen kann.

2. Methodik
Die Autoren stellen einen zweistufigen Pipeline-Ansatz vor, der sowohl verpacktes als auch unverpacktes Fleisch verarbeitet:

• Datensatz:

  • Kombination aus drei öffentlichen Datensätzen für unverpacktes Fleisch und einem neu erstellten Datensatz für verpacktes Fleisch (gesammelt in Alabama, USA).
  • Gesamtgröße: 6.256 eindeutige Bilder nach Deduplizierung.
  • Klassen: Vier In-Distribution (ID)-Klassen (Verpackt/Frisch, Verpackt/Verrdorben, Unverpackt/Frisch, Unverpackt/Verrdorben) und eine separate "No Result"-Klasse für OOD-Eingaben (z. B. leere Tabletts, Hintergrund).
  • Labeling: Basierend auf visuellen AMSA-Standards (Farbe, Feuchtigkeit, Textur) und einer zeitbasierten Heuristik (10–36 Stunden bei Raumtemperatur als "frisch").

• Segmentierung (Vorverarbeitung):

  • Einsatz eines U-Net-Modells mit ResNet-Encodern, um den Fleischbereich vom Hintergrund (Tablett, Reflexionen) zu isolieren.
  • Pseudo-Labeling: Da keine manuellen Expertenmasken vorlagen, wurden Masken mittels adaptiver GrabCut-Prozedur generiert und manuell auf Konsistenz geprüft.
  • Ziel: Reduktion von Hintergrundrauschen und Standardisierung des Eingabebereichs für den Klassifikator.

• Klassifizierung (Deep Learning):

  • Vergleich von fünf Backbone-Architekturen: ResNet-50, ViT-B/16 (Vision Transformer), Swin-T (Swin Transformer), EfficientNet-B0 und MobileNetV3-Small.
  • Trainingsstrategie: Nested 5×3 Cross-Validation (CV) für Hyperparameter-Tuning (Lernraten, Label Smoothing, MixUp) und Modellselektion, um Datenlecks zu vermeiden.
  • OOD-Mechanismus: Ein Abstentionsmechanismus (No Result), der bei niedriger Konfidenz keine Vorhersage trifft. Es werden drei Konfidenz-Scores verglichen: Maximum Softmax Probability (MSP), Energy Score und ODIN.

• Bewertung:

  • Metriken: Genauigkeit, F1-Score, IoU/Dice für Segmentierung.
  • OOD-Metriken: AUROC, AUPR, FPR@95TPR.
  • Deployment: Latenzmessungen auf einem Smartphone (Samsung Galaxy A55) via TensorFlow Lite (TFLite).

3. Hauptbeiträge

1. Einheitlicher Ansatz: Ein RGB-basierter Pipeline, der sowohl verpacktes als auch unverpacktes Fleisch behandelt und eine OOD-bewusste Abstimmung ("No Result") für unsichere Fälle integriert.
2. Segmentierung als Vorverarbeitung: Nachweis, dass die U-Net-basierte Isolierung des Fleischbereichs die Klassifizierung stabilisiert, indem Hintergrundartefakte reduziert werden.
3. Umfassender Backbone-Vergleich: Benchmarking von CNNs und Transformern unter strikter Nested-CV-Protokoll, was einen direkten Vergleich von Genauigkeit und Effizienz ermöglicht.
4. Praktische Deployment-Analyse: Messung der On-Device-Latenz und Analyse des Trade-offs zwischen Genauigkeit und Rechenzeit für mobile Anwendungen.

4. Ergebnisse

• Segmentierung: Das U-Net mit ResNet-34 als Encoder erzielte die besten Ergebnisse (IoU: ~75%, Dice: ~82%) und wurde für die nachfolgende Klassifizierung festgelegt.
• Klassifizierungsgenauigkeit (In-Distribution):
  • EfficientNet-B0 erreichte die höchste Genauigkeit auf dem Testset (98,10%).
  • Gefolgt von ResNet-50 und MobileNetV3-Small (beide 97,63%) sowie Swin-T (97,51%).
  • ViT-B/16 schnitt mit 94,42% am schlechtesten ab, was auf die Notwendigkeit größerer Datensätze für Transformer-Architekturen hindeutet.
  • Statistische Tests (McNemar) bestätigten signifikante Unterschiede zugunsten von EfficientNet-B0 und ResNet-50 gegenüber ViT.
• OOD-Erkennung:
  • Der Energy Score und ODIN zeigten oft bessere Trennschärfe zwischen ID- und OOD-Daten als der einfache MSP-Score.
  • Der Abstentionsmechanismus ermöglichte es, unsichere Eingaben (z. B. starke Reflexionen) als "Kein Ergebnis" zu markieren, anstatt eine falsche Klasse vorherzusagen.
• Effizienz (Mobile):
  • MobileNetV3-Small war mit 6,36 ms Latenz am schnellsten.
  • EfficientNet-B0 bot den besten Kompromiss aus Genauigkeit (98,10%) und Latenz (17,21 ms).
  • Transformer-Modelle (Swin-T, ViT) hatten deutlich höhere Latenzen (bis zu 462 ms für ViT) und waren für Echtzeit-Anwendungen auf Mobilgeräten weniger geeignet.

5. Bedeutung und Ausblick
Diese Arbeit demonstriert, dass Deep-Learning-Modelle auf Basis von Standard-RGB-Kameras (Smartphones) eine robuste und kostengünstige Alternative zu teuren Sensoren für die Fleischfrischeprüfung bieten können. Der integrierte OOD-Mechanismus erhöht die Sicherheit im Einsatz, indem das System bei unklaren Bedingungen keine falsche Sicherheit vorgibt.

Die Studie unterstreicht, dass für den praktischen Einsatz auf Edge-Geräten leichtgewichtige CNN-Architekturen (wie EfficientNet) oft besser geeignet sind als große Transformer-Modelle, da sie eine hohe Genauigkeit bei geringerer Latenz bieten. Zukünftige Arbeiten sollten die Validierung durch mikrobiologische Messungen (z. B. pH-Wert, Keimzahlen) und eine Erweiterung auf weitere Beleuchtungsbedingungen und Kameratypen umfassen.