CLIP-Guided Multi-Task Regression for Multi-View Plant Phenotyping

Probleemstelling

Het modelleren van plantengroei is essentieel voor precisielandbouw, maar het leren van robuuste voorspellers uit multi-view (meerdere hoek) plantbeelden blijft uitdagend. De huidige uitdagingen zijn:

• Hooge redundantie: Planten worden vaak gefotografeerd vanuit honderden hoeken die sterk op elkaar lijken, wat leidt tot overfitting op beeldspecifieke artefacten in plaats van echte groeifasen.
• Afhankelijkheid van het gezichtspunt: De uiterlijke verschijning van een plant verandert sterk afhankelijk van de kijkhoek en de hoogte, wat het moeilijk maakt om de werkelijke fenotypische kenmerken (zoals leeftijd en aantal bladeren) te onderscheiden.
• Onvolledige data: In de praktijk zijn datasets vaak incompleet (ontbrekende beelden) of ongeordend, wat methoden die aannemen dat er dichte, goed geordende multi-view inputs zijn, faalt.
• Bestaande oplossingen: Eerdere benaderingen gebruiken vaak aparte modellen per eigenschap (twee modellen voor leeftijd en bladcount) of vertrouwen op zware, taak-specifieke architecturen en heuristieken voor view-selectie, wat de kosten en foutpropagatie verhoogt.

Methodologie

De auteurs stellen een level-aware vision-language framework voor dat plantleeftijd en het aantal bladeren gelijktijdig voorspelt met één enkel multi-task model, gebaseerd op CLIP-embeddings.

1. Preprocessing en Representatie:

• Grounding DINO: Een vooraf getraind Grounding DINO-model wordt gebruikt om objectgerichte lokalisatie uit te voeren. Dit genereert strakke bounding boxes rond de plant en de pot, waardoor achtergrondruis wordt onderdrukt en semantisch relevante gebieden worden behouden.
• CLIP Visual Encoder: De geroeste beelden worden gecodeerd door de CLIP-vision-encoder tot 512-dimensionale embeddings.
• Aggregatie: Voor elk van de 5 hoogteniveaus worden de 24 rotatiebeelden gemiddeld (element-wise mean) om een hoek-invariante representatie te creëren. Dit vermindert redundantie en maakt het model robuust tegen ontbrekende views.

2. Multi-Task en Multimodale Fusie:

• Unimodale Baseline: Een eenvoudig MLP (Multi-Layer Perceptron) voert regressie uit op de visuele embeddings om leeftijd en bladcount te voorspellen.
• Level-Aware Conditioning: Het kernidee is het toevoegen van tekstuele priors.
  • Tijdens training wordt de visuele embedding gecombineerd met een CLIP tekst-embedding die de hoogte aangeeft (bijv. "een plant op ongeveer niveau X").
  • Tijdens inferentie, als de hoogte niet bekend is, voorspelt een auxiliary regressor de meest waarschijnlijke hoogte op basis van de visuele embedding. Deze voorspelde hoogte genereert vervolgens de tekst-embedding.
• Fusie: De visuele embedding (512 dim) en de tekstuele embedding (512 dim) worden samengevoegd tot een 1024-dimensionale vector, die door een MLP wordt verwerkt om beide doelen (leeftijd en bladcount) gelijktijdig te voorspellen.

3. Training:

• Het model wordt end-to-end getraind met een samengestelde loss-functie (som van MSE voor beide taken).
• Dit zorgt voor positieve transfer: morfologische cues die nuttig zijn voor het schatten van de leeftijd, helpen ook bij het tellen van bladeren en vice versa.

Belangrijkste Bijdragen

1. Unificatie van Modellen: Vervanging van het traditionele paradigma van twee aparte modellen door één enkel, unified vision-language model dat beide taken (leeftijd en bladcount) uitvoert. Dit vereenvoudigt de pipeline en verbetert de efficiëntie.
2. Level-Aware Multimodale Fusie: Een strategie die CLIP visuele embeddings combineert met compacte CLIP tekst-priors (hoogte/level) om viewpoint-afhankelijke veranderingen te ontkoppelen van echte fenotypische variatie.
3. Robuustheid bij Ontbrekende Data: Het model kan omgaan met onvolledige inputsets door de tekstuele conditioning dynamisch aan te passen (via een geleerde level-estimator) wanneer metadata ontbreken, in plaats van te falen.

Resultaten

De methode is geëvalueerd op de GroMo25 benchmark (met data voor mosterd, radijs en tarwe).

• Prestatieverbetering:
  • De gemiddelde MAE (Mean Absolute Error) voor plantleeftijd daalde van 7.74 (GroMo baseline) naar 3.91 (een verbetering van 49,5%).
  • De gemiddelde MAE voor bladcount daalde van 5.52 naar 3.08 (een verbetering van 44,2%).
  • Vergelijking met een sterke unimodale CLIP-baseline toont ook verbeteringen (leeftijd MAE van 4.12 naar 3.91; bladcount MAE van 3.43 naar 3.08).
• Robuustheid:
  • Bij het verwijderen van viewpoint-afbeeldingen tijdens inferentie toonde het multimodale model minder degradatie dan het unimodale model.
  • Bij extreme verwijdering (tot slechts 1 beeld over) was het multimodale model 12,9% robuuster (lagere degradatie in MAE).
• Efficiëntie: Het model presteert vergelijkbaar met de beste bestaande methode (ViewSparsifier), maar doet dit met één enkel model in plaats van meerdere, wat de implementatie vereenvoudigt.

Significantie

Dit werk markeert een belangrijke stap in precisielandbouw door te tonen dat vision-language modellen (zoals CLIP) effectief kunnen worden ingezet voor regressie-taken in de landbouw, niet alleen voor classificatie.

• Het lost het probleem van view-redundantie op zonder complexe view-selectie-algoritmen.
• Het biedt een oplossing voor de realiteit van veldtoepassingen waar data vaak onvolledig of ongeordend is.
• Door multi-task learning en tekstuele conditioning te combineren, creëren de auteurs een systeem dat beter generaliseert en minder gevoelig is voor ruis, wat cruciaal is voor schaalbare, niet-invasieve monitoring van gewasgroei.

De code en modellen zijn openbaar beschikbaar via GitHub, wat de reproduceerbaarheid en verdere adoptie in de gemeenschap bevordert.