Fourier-Guided Multi-Scale Vision Transformer for Object-Independent Detection and Severity Grading of Rain-Induced Cracking in Sweet Cherry

Zoete kersen zijn een delicatesse die wordt geprezen om hun diepe kleur, stevige textuur en vluchtige seizoen, maar hun commerciële succes hangt af van een fragiele balans. Een enkele zware regenbui nabij de oogst kan een premium gewas in een verlies transformeren. Wanneer water op de schil van het fruit blijft staan, kan dit microscopische scheurtjes in de beschermende buitenlaag forceren, wat barsten creëert die er in eerste instantie onschadelijk uit kunnen zien, maar snel rotting en waterverlies uitlokken. Decennialang hebben boeren en verwerkers vertrouwd op menselijke ogen om deze vruchten te sorteren, een taak die traag, subjectief is en vaak de kleinste breukjes mist die er het meest toe doen. Deze onzichtbare gebreken zijn het verschil tussen een vrucht die goed naar een verre markt kan reizen en een vrucht die moet worden weggegooid of verkocht voor verwerking. De uitdaging is niet alleen het zien van de schade, maar begrijpen dat een barst niet één ding is; het is een progressie van een haarlijnbreuk tot een diepe scheur, en de locatie ervan op de vrucht bepaalt hoe gevaarlijk het is.

Om dit op te lossen, hebben onderzoekers zich gericht op een nieuw soort computervisie die nabootst hoe het menselijk brein een probleem vanuit twee verschillende hoeken tegelijkertijd zou bekijken. In plaats van een computer alleen te trainen om patronen in een afbeelding te herkennen zoals een standaardfoto, leert deze nieuwe aanpak de machine om ook te "luisteren" naar de wiskundige frequenties die verborgen zitten in die foto. In de wereld van afbeeldingen hebben gladde gebieden, zoals de glanzende schil van een kers, lage frequentiepatronen, terwijl scherpe randen, fijne lijnen en kleine barstjes hoogfrequente signalen creëren. Door een standaard visuele analyse te combineren met dit frequentie-gebaseerde "horen", hebben wetenschappers een systeem gebouwd dat de zwakste tekenen van problemen kan opsporen voordat ze met het blote oog zichtbaar worden. Deze methode werd onlangs op zoete kersen getest om te zien of het betrouwbaar de ernst van regenschade kon beoordelen en precies kon in kaart brengen waar de barsten zitten, wat een potentieel toekomstbeeld biedt waarin elke vrucht met perfecte consistentie wordt geïnspecteerd.

De studie, uitgevoerd door een team van onderzoekers, richtte zich op het creëren van een hulpmiddel dat de rommelige realiteit van echt fruit aan kan. Ze verzamelden 9-60 kersen van vier verschillende commerciële variëteiten uit diverse boomgaarden. Om te zorgen dat het systeem eerlijk werd getest, namen ze niet zomaar willekeurige foto's; ze legden vier verschillende aanzichten van elke vrucht vast, waarbij ze de vruchten draaiden om alle kanten te tonen. Sommige van deze kersen waren natuurlijk gebarsten na regenval, terwijl andere in een gecontroleerde omgeving zorgvuldig in water waren geweekt om een breed scala aan schade te creëren, van minuscule, bijna onzichtbare scheurtjes tot diepe, open wonden. Elk fruit werd vervolgens onder een krachtige microscoop onderzocht om de exacte lengte en breedte van elke barst te meten, waardoor een strikte "gouden standaard" van de waarheid werd gecreëerd waartegen de gissingen van de computer konden worden gemeten. De onderzoekers definieerden vier niveaus van schade: intact, microbarst, matig en ernstig, gebaseerd op precieze metingen van hoeveel de schil was gebroken en hoeveel van het oppervlak van de vrucht werd aangetast.

Het computermodel dat zij ontwikkelden, dat zij de Fourier-guided multi-scale Vision Transformer noemen, werkt door de vrucht op twee verschillende manieren tegelijkertijd te analyseren. Ten eerste analyseert het de afbeelding normaal gesproken, waarbij het de afbeelding opdeelt in kleine segmenten om de vorm van de vrucht, de positie van de steel en de algehele kleur te begrijpen. Dit is het "ruimtelijke" beeld, dat de computer vertelt waar dingen zich bevinden. Ten tweede neemt het de afbeelding en zet deze om in een frequentiekaart, een wiskundige representatie die veranderingen in helderheid en textuur accentueert. Dit tweede beeld is bijzonder goed in het opsporen van de scherpe, grillige lijnen van een barst, zelfs als deze zeer vaag of verborgen zijn door schittering. Het model gebruikt vervolgens een speciaal aandachtmechanisme om de frequentie-informatie de ruimtelijke weergave te laten sturen. Het is alsof de computer een tweede paar ogen heeft dat de onzichtbare trillingen van een barst kan zien, en het gebruikt die informatie om het eerste paar ogen precies te vertellen waar het nauwkeuriger naar moet kijken. Hierdoor kan het systeem zich concentreren op de kleine details die meestal verloren gaan wanneer een computer probeert een afbeelding te vereenvoudigen.

De resultaten van deze dubbele aanpak waren opmerkelijk. Het systeem identificeerde de ernst van de schade correct bij 93,8% van de vruchten, een significante verbetering ten opzichte van modellen die alleen naar de afbeelding keken op visuele wijze. Belangrijker nog, het excelleerde in het vinden van de microbarsten, de kleine breukjes die het moeilijkst voor mensen te zien zijn maar het gevaarlijkst zijn voor de toekomst van de vrucht. Toen de onderzoekers de bekwaamheid van het systeem testten om een kaart te tekenen van waar de barsten precies zaten, behaalde het een hoog niveau van precisie en slaagde het erin de beschadigde gebieden te omlijnen, zelfs wanneer deze minder dan een fractie van een procent van het totale vrucht oppervlak besloegen. Het model was ook robuust; het bleef goed presteren, zelfs wanneer de vrucht gedeeltelijk werd verborgen door de steel, wanneer fel licht verwarrende reflecties veroorzaakte, of wanneer de afbeelding licht wazig was. Sterker nog, onder moeilijke lichtomstandigheden behield het nieuwe model een duidelijk voordeel ten opzichte van oudere methoden, wat bewees dat het frequentie-gebaseerde "horen" hielp om door visuele ruis heen te kijken.

Een van de meest waardevolle aspecten van dit werk is dat de computer niet alleen een eindcijfer geeft, maar ook een visuele kaart van de barst produceert. Dit betekent dat een menselijke operator naar de beslissing van de computer kan kijken en precies kan zien welk deel van de vrucht tot die conclusie heeft geleid. Als het systeem een vrucht als beschadigd markeert, kan de operator de geaccentueerde barst op het scherm zien, wat het proces transparant en betrouwbaar maakt. De studie vond dat de computer zelden grote fouten maakte; wanneer het fout zat, verwarde het meestal een "matige" barst met een "ernstige" een, of een "microbarst" met een "matige" een, in plaats van een gezonde vrucht als gebroken aan te merken of een gebroken vrucht als gezond. Dit suggereert dat het systeem het continuüm van schade begrijpt in plaats van alleen categorieën te raden. De onderzoekers merkten ook op dat het systeem leerde om irrelevante kenmerken zoals de kleur van de vrucht of de achtergrond te negeren, en zich strikt concentreerde op de structurele schade, wat essentieel is voor een hulpmiddel dat over verschillende soorten kersen moet werken.

Hoewel het systeem veelbelovend is, zijn de onderzoekers zich bewust van de huidige beperkingen. De tests werden uitgevoerd in een gecontroleerde omgeving met specifieke camera's en verlichting, en de vruchten werden onder ideale omstandigheden onderzocht. Verpakkingslijnen in de echte wereld bewegen veel sneller, en de vruchten kunnen nat, vuil of in beweging zijn op manieren die moeilijker vast te leggen zijn. De studie gebruikte ook een mix van natuurlijk gebarsten fruit en kunstmatig geweekt fruit, en hoewel dit een grote verscheidenheid aan schade bood, zien de twee soorten er in elk detail misschien niet exact hetzelfde uit. Bovendien werd het systeem getraind op vier specifieke variëteiten kersen, en het moet nog worden afgeweken hoe goed het zal presteren op nieuwe, onbekende soorten fruit. De onderzoekers benadrukken dat voordat deze technologie gebruikt kan worden in een commerciële verpakkingshuis, deze op een veel grotere schaal getest moet worden met verschillende apparatuur en onder de chaotische omstandigheden van een drukke fabrieksvloer.

Ondanks deze hindernissen biedt de studie een duidelijke weg vooruit voor de toekomst van fruitinspectie. Door de mogelijkheid te combineren om het grote plaatje te zien met het vermogen om de fijne details te "horen", biedt deze nieuwe aanpak een manier om kersen te sorteren die zowel snel als ongelooflijk precies is. Het gaat verder dan eenvoudige telling of kleur-sortering naar een diep begrip van de fysieke integriteit van de vrucht. Voor kwekers kan dit minder verspilling en kwalitatief hoogwaardiger fruit in de schappen betekenen. Voor wetenschappers biedt het een nieuwe manier om te bestuderen hoe verschillende kersensoorten reageren op regen, wat hels bij het kweken van sterkere gewassen voor de toekomst. Het werk laat zien dat wanneer we machines leren om de wereld op meer dan één manier te bekijken, we waarheden kunnen ontdekken die voorheen onzichtbaar waren, waardoor een simpele afbeelding van een kers verandert in een gedetailleerd verhaal over de gezondheid en veerkracht ervan.