💻 computer science

Text-conditioned Segmentation for Tomato Phenotyping via Procedural Synthetic Data

Dit artikel presenteert een sim-to-real framework dat een grootschalige procedurele synthetische dataset van tomatenkassen genereert om het Segment Anything Model 3 (SAM 3) te finetunen, wat de tekstgeconditioneerde segmentatieprestaties voor tomatenfenotypering in complexe, reële omgevingen aanzienlijk verbetert.

Oorspronkelijke auteurs: Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

Gepubliceerd 2026-07-22

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een tuin te begrijpen. Je wilt dat hij elke tomaat, elk blad en elke stengel opspoort, zodat hij boeren kan helpen bij het oogsten zonder moe te worden. Dit is de wereld van computer vision (computervisie), waar computers leren de wereld te "zien" via camera's. Maar hier komt het lastige deel: een computer leren is als een kind leren om dieren te herkennen. Als je het kind alleen maar foto's van leeuwen in een dierentuin laat zien, kan het in het wild in de war raken. Op een vergelijkbare manier hebben computers moeite met het herkennen van planten in rommelige, echte kassen, omdat ze niet genoeg voorbeelden hebben gezien.

Om dit op te lossen, gebruiken wetenschappers synthetische data. Denk hierbij aan het bouwen van een videogameversie van een kas. In een spel kun je miljoenen perfecte plaatjes van tomaten maken, elke pixel direct labelen, en je hoeft je nooit zorgen te maken of de zon te fel schijnt of dat een blad het zicht blokkeert. Dit wordt procedural generation (procedurele generatie) genoemd, waarbij een computer een reeks regels volgt (zoals een recept) om unieke, nep-planten te laten groeien die er echt uitzien.

De grote vraag is: als je een robot traint op een videogame, zal hij dan ook echt werken in een echte kas? Dit onderzoek verkent precies dat mysterie. Het vraagt zich af of we een superintelligente, vooraf getrainde computerhersenen (een foundation model) die veel over de wereld weet, kunnen leren met behulp van onze nep-video-game-tomaatjes, en of hij dan plotseling een expert kan worden in het opsporen van echte tomaten. Het doel is om boeren tijd en geld te besparen door het zware werk van tellen en controleren van hun gewassen te automatiseren.

De Video Game Kas en de Super-Hersenen

De auteurs van dit paper besloten een digitale tweeling te bouwen van een commerciële kas met cherrytomaten. In plaats van duizenden foto's van echte planten te maken (wat eeuwig duurt en duur is), gebruikten ze een krachtige video game engine genaamd Unreal Engine 5 om een virtuele wereld te creëren. In deze wereld programmeerden ze een "digitale plant" met behulp van een set regels die L-systemen worden genoemd.

Zie L-systemen als een genetische code voor een video game-plant. In plaats van elk blad met de hand te tekenen, volgt de computer instructies: "Groei een stengel, voeg hier een blad toe, vertak daar." De auteurs voegden speciale regels toe om het beheer van echte boeren na te bootsen, zoals "leunen en verlagen" (waarbij de plant voorzichtig wordt gekanteld en verlaagd terwijl hij hoog groeit) en snoeien (het afknippen van oude delen). Ze voegden zelfs willekeurige variaties toe, zodat geen twee digitale planten er precies hetzelfde uitzagen, net als in de natuur.

Uit deze virtuele kas genereerden ze een enorme dataset van 68.000 synthetische afbeeldingen. Elke afbeelding kwam met perfecte labels: de computer wist precies welke pixels vrucht, blad of stengel waren, tot aan de individuele vrucht toe. Het was alsof je een leraar had die nooit een fout maakt.

De "Segment Anything" Hersenen

Vervolgens brachten ze een superster AI-model naar voren genaamd SAM 3 (Segment Anything Model 3). Stel je SAM 3 voor als een zeer slimme student die elk boek in de bibliotheek over afbeeldingen heeft gelezen. Het kan naar een foto van een hond of een auto kijken en direct aanwijzen waar het object zich bevindt, zelfs als het dit specifieke object nog nooit heeft gezien. Dit wordt zero-shot learning genoemd.

Echter, toen de auteurs deze superintelligente student vroegen om naar een dichte, rommelige tomatenplant te kijken, raakte het in de war. De bladeren overlapten elkaar, de vruchten waren verborgen en de verlichting was lastig. De prestaties van de student daalden omdat hij niet gewend was aan de specifieke "taal" van tomatenplanten.

Het Experiment: De Student Leren met Nep-Data

Het team besloot de student een spoedcursus te geven met behulp van hun 68.000 nep-tomaatafbeeldingen. Ze probeerden drie verschillende manieren om het model te onderwijzen:

Full Fine-Tuning: Ze lieten de student alles vanaf nul opnieuw leren met behulp van de nep-data.
LoRA (Low-Rank Adaptation): Ze lieten de student slechts een heel klein, specifiek deel van zijn brein leren, terwijl de meeste van zijn oorspronkelijke kennis intact bleef.
Weight Interpolation (WiSE-FT): Dit was de slimste truc. Ze namen de met "nep-data getrainde" hersenen en mengden deze met de "oorspronkelijke superintelligente" hersenen. Het is alsof je een nieuw recept mengt met het originele recept om het beste van beide werelden te krijgen. Ze mengden ze zo dat 75% van de hersenen getraind was op de nep-tomaatjes, terwijl 25% de oorspronkelijke, algemene kennis behield.

De Resultaten: Werkt de Nep-Training?

Hier werd het interessant. Wanneer ze de modellen testten op de nep-afbeeldingen, deed het "Full Fine-Tuning" model het best. Het leek de videogame perfect te hebben uit het hoofd geleerd.

Maar toen ze de modellen uit de videogame haalden en testten op echte foto's uit echte kassen, draaiden de resultaten om. Het model dat de nep-data het meest uit het hoofd had geleerd, deed het juist het slechtst. Het was te gefocust op de regels van de videogame en kon de rommelige realiteit niet aan.

De winnaar was het Weight Interpolation model (WiSE-FT). Door een beetje van de oorspronkelijke "superintelligente" kennis te behouden, was het in staat om zich veel beter aan te passen aan de echte wereld.

Het oorspronkelijke, ongetrainde model (Zero-shot) behaalde een score van 52,7% bij het vinden van vruchten in echte afbeeldingen.
Het best getrainde model (Full FT) verbeterde dit naar 65,6%.
Dit betekent dat het model 12,9 procentpunt beter werd in het opsporen van tomaten door simpelweg te leren van de nep-data.

De auteurs testten het model ook in een echte kas waarvoor ze geen labels hadden (omdat ze de boeren niet konden vragen om elke pixel te labelen). Ze gebruikten een "vertrouwenstest": hoe zeker was het model van zijn antwoord? Het getrainde model was veel zelfverzekerder en stabieler; het raakte zelden in de war door schaduwen of overlappende bladeren, terwijl het ongetrainde model vaak vruchten miste of bloemen "halucineerde" die er niet waren.

De Conclusie

Het paper suggereert dat je geen robot vanaf nul hoeft te bouwen om een kas te begrijpen. In plaats daarvan kun je een algemene "super-robot" nemen die al kan zien, en hem een gespecialiseerde training geven met behulp van een videogame. De sleutel is niet om de robot alles te laten vergeten wat hij wist, maar om hem voorzichtig richting de specifieke taak van het opsporen van tomaten te duwen.

De auteurs hebben ook gezorgd dat ze hun werk met de wereld delen. Ze hebben de code voor hun video game-kas, de 68.000 nep-afbeeldingen en de getrainde robot-hersenen vrijgegeven. Dit betekent dat andere wetenschappers deze tools kunnen gebruiken om betere landbouwrobots te bouwen zonder vanaf nul te hoeven beginnen.

Kortom, het paper laat zien dat een beetje oefening in een videogame, gecombineerd met veel echte intelligentie, computers eindelijk kan helpen om de complexe, rommelige schoonheid van een tomatenplant te zien. Het is een stap naar een toekomst waarin robots ooit kunnen helpen bij het oogsten van ons voedsel, waardoor boeren worden ontlast van zwaar fysiek werk.

Probleemstelling

Visuele automatisering biedt veelbelovende mogelijkheden voor het verminderen van handmatige arbeid in de kasproductie en fenotypering. De inzet van deze systemen wordt echter beperkt door de schaarste aan grootschalige, geannoteerde trainingsdata, met name voor complexe agrarische omgevingen. Hoewel recente vision foundation models (VFMs) zoals het Segment Anything Model 3 (SAM 3) een sterke zero-shot generalisatie vertonen, neemt hun prestatie af in dichte agrarische scènes die worden gekenmerkt door overlappend blad, geoccludeerde vruchtclusters en specifieke gewas-taxonomieën. Bovendien vertrouwen bestaande synthetische datasets vaak op statische 3D-assets of vereenvoudigde omgevingen die er niet in slagen de continue groeidynamiek en intensieve beheerspraktijken (bijv. snoeien, het verlagen van ranken) van commerciële kassen te vangen. Bijgevolg is er een gebrek aan hoogwaardige virtuele omgevingen die geschikt zijn voor het trainen van robuuste perceptiesystemen, en blijft het verfijnen van krachtige foundation models op niche agrarische data zonder hun generaliseerbaarheid op te offeren, een openstaande uitdaging.

Methodologie

De auteurs stellen een sim-to-real framework voor dat procedureel gegenereerde synthetische data combineert met het fine-tunen van een foundation model. De methodologie bestaat uit drie primaire componenten:

1. Procedurele Generatie van Synthetische Data:
De auteurs hebben een hoogwaardige virtuele kasomgeving ontwikkeld met behulp van Unreal Engine 5. Centraal staat een nieuw procedureel model van cherrytomaatplanten (Solanum lycopersicum var. cerasiform) gebouwd met L-systemen. In tegenstelling tot statische modellen, simuleert dit systeem:

Biologische Groei: Sympodiale vertakkingspatronen, vegetatieve en reproductieve ontwikkeling, en samengestelde bladstructuren op basis van gevestigde botanische regels.
Kasbeheer: Het model incorporeert biomechanische tropismen en algoritmische simulaties van commerciële praktijken, specifiek de "leaning and lowering"-techniek waarbij stengels horizontaal worden verschoven terwijl ze groeien, en het snoeien van uitgeputte basale delen.
Stochastische Variatie: Geometrische parameters (bladschaal, oriëntatie, vertakkingshoeken) worden gemoduleerd door stochastische multipliers om ervoor te zorgen dat geen twee gesimuleerde planten morfologisch identiek zijn.
Data-acquisitie: Een configureerbare pipeline genereert gesynchroniseerde RGB-beelden, dieptekaarten en pixel-perfecte ground truth annotaties (semantische maskers voor blad, stengel, bloem, vrucht, achtergrond; instantie-maskers; en bounding boxes) over diverse gezichtspunten en lichtomstandigheden.

2. Fine-tuning van het Foundation Model:
De auteurs hebben SAM 3 gefinetuned op de gegenereerde 68.000-afbeeldingen tellende synthetische dataset met behruik van drie verschillende strategieën om het model te specialiseren voor tomaatorganen terwijl de zero-shot capaciteiten behouden blijven:

Parameter-Efficient Fine-Tuning (LoRA): Paste Low-Rank Adaptation toe op de attention-lagen van de SAM 3 vision encoder, waarbij slechts een klein deel van de parameters werd bijgewerkt.
Full Fine-Tuning: Trainde alle semantische componenten van SAM 3, inclusief de semantische segmentatiekop, op de synthetische corpus.
Weight Interpolation (WiSE-FT): Om de domeinspecialisatie te balanceren met algemene visuele priors, hebben de auteurs de gewichten geïnterpoleerd tussen de pre-trained zero-shot checkpoint en de gefinetunede checkpoints met de formule $\theta_{wise}(\alpha) = (1 - \alpha) \cdot \theta_{base} + \alpha \cdot \theta_{ft}$ met $\alpha = 0.75$ . Dit werd toegepast op zowel de full fine-tuning als de LoRA-varianten.

3. Evaluatieframework:
De modellen werden geëvalueerd op drie externe real-world mask datasets (TomatoMAP-Seg, LaboroTomato, Rob2Pheno) en een aangepaste real-world dataset die is vastgelegd in een commerciële kas in Saoed Arabië (die geen ground truth bevatte en werd gebruikt voor kwalitatieve en label-vrije betrouwbaarheidsanalyse). De evaluatie richtte zich op semantische segmentatieprestaties, specifal het meten van de macro fruit Intersection over Union (IoU) en label-vrije betrouwbaarheidsmetrieken.

Belangrijkste Bijdragen

Grootschalige Synthetische Dataset: De generatie van een fotorealistische, procedureel gegenereerde synthetische dataset voor tomaatfenotypering met pixel-perfecte ground truth annotaties (RGB, diepte, semantische en instantie-maskers) die commerciële kasbeheerspraktijken vastlegt.
Fine-tuning Pipeline: Een voorgestelde text-conditioned foundation model fine-tuning pipeline die synthetische data gebruikt om SAM 3 te specialiseren voor kasgewasorganen via LoRA, full fine-tuning en weight interpolation.
Prestatiewinsten: Demonstratie dat het combineren van synthetische data met SAM 3 fine-tuning de segmentatieprestaties op real-world data aanzienlijk verbetert, met een stijging van 12,9 procentpunt in de macro fruit IoU (van 52,7% naar 65,6%) vergeleken met de zero-shot baseline.
Open Release: De publieke release van het procedurele model, de gegenereerde synthetische dataset en de gefinetunede SAM 3 gewichten op Hugage Face om community benchmarking te faciliteren.

Resultaten

Real-World Transfer: De Full FT SAM 3 variant behaalde de beste geaggregeerde prestaties over externe real-world datasets, met een macro fruit IoU van 0,6562 en een image-weighted fruit IoU van 0,7372. De WiSE-FT LoRA SAM 3 variant behaalde de hoogste prestatie op de LaboroTomato dataset (0,7728 IoU).
Synthetisch vs. Real Inversie: Een cruciale bevinding was de "synthetisch-real inversie". Gesuperviseerde baselines (DeepLabV3+, SegFormer) en Full FT modellen scoorden het hoogst op de synthetische validatieset, maar vertoonden niet noodzakelijkerwijs de beste transfer naar real-world data. Daarentegen vertaalden LoRA-varianten, die lager scoorden op synthetische validatie, zich substantieel beter naar real-world beelden. Dit suggereert dat optimaliseren uitsluitend voor synthetische metrieken onvoldoende is voor modelselectie.
Label-vrije Betrouwbaarheid: Op de ongeannoteerde real-world kasdataset demonstreerde de WiSE-FT variant superieure robuustheid vergeleken met de zero-shot baseline, met een hogere all-pixel confidence (0,6114 vs. 0,3685), betere Test-Time Augmentation (TTA) overeenkomst (0,9045 vs. 0,7345) en een realistischere foreground coverage. Het zero-shot model vertoonde systematische fouten, waaronder onderdekking van de voorgrond en "bloem-hallucinaties".
Eenvoud van Prompts: De gefinetunede modellen reageerden succesvol op beknopte, organ-niveau tekstprompts ("stem", "blad", "vrucht"), wat resulteerde in precieze, niet-overlappende semantische maskers zonder complexe prompt engineering.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het aantonen dat procedureel gegenereerde synthetische data effectief de sim-to-real kloof kan overbruggen wanneer deze wordt gecombineerd met het fine-tunen van foundation models. De auteurs benadrukken dat de synthetische data het model niet hoeft te leren om vanuit het niets een algemeen visueel begrip te ontwikkelen; in plaats daarvan stuurt het een reeds algemeen model (SAM 3) naar de specifieke structurele complexiteit van tomatenplanten.

Het werk benadrukt dat evaluatie in het reële domein essentieel is voor betrouwbare modelselectie, aangezien metrieken in het synthetische domein alleen een slechte voorspeller zijn voor real-world generalisatie. Door een kant-en-klare tool (gefinetunede gewichten en data) aan te bieden, beogen de auteurs de ontwikkeling van schaalbare agrarische visiesystemen te versnellen zonder dat onderzoekers aangewezen zijn op het vanaf nul trainen van aangepaste modellen. Het artikel concludeert dat hoewel synthetische data een krachtige facilitator is, de specifieke fine-tuning strategie (bijv. weight interpolation vs. full fine-tuning) zorgvuldig moet worden gekozen op basis van real-world prestaties in plaats van synthetische validatiescores.