Criteria-first, semantics-later: reproducible structure discovery in image-based sciences

Dit artikel pleit voor een deductieve omkering in de beeldgebaseerde wetenschappen, waarbij reproduceerbare structuurbeschrijvingen eerst worden afgeleid op basis van expliciete criteria en pas later worden gekoppeld aan domeinspecifieke semantiek, om zo de beperkingen van de huidige 'semantics-first'-benadering bij open-ended ontdekking en lange-termijnonderzoek te overwinnen.

De kern

Stel je voor dat je een enorme bibliotheek binnenloopt, maar in plaats van boeken, zijn de planken vol met miljoenen foto's van de natuur, de stad of je eigen lichaam. De wetenschappers die deze foto's bestuderen, proberen er een verhaal van te maken.

Deze paper stelt een radicale nieuwe manier voor om die foto's te analyseren. Het is een beetje als het verschil tussen eerst de naam geven aan iets, en eerst de vorm begrijpen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: "Eerst de naam, dan de vorm" (Semantics-first)

Stel je voor dat je een foto van een bos ziet. De huidige manier van werken is alsof je direct probeert te raden: "Dat is een eik, dat is een beuk, dat is een struik."

• Het probleem: Wat als de foto uit een ander land komt waar ze andere namen voor bomen hebben? Of wat als de camera anders is ingesteld, waardoor de bomen er anders uitzien? Of wat als er een nieuw soort insect op de foto staat dat niemand kent?
• De consequentie: Als je direct probeert te "namen" (labels te geven), faal je vaak als de omstandigheden veranderen. Het is alsof je probeert een puzzel op te lossen door alleen te kijken naar de randjes van de stukjes, terwijl je de vorm van het stukje zelf negeert. Als de puzzelstukjes een beetje vervormd zijn (door zonlicht, seizoenen of een andere camera), past je "naam" niet meer, en breekt je hele analyse.

2. De nieuwe oplossing: "Eerst de vorm, dan de naam" (Criteria-first)

De auteur, Jan Bumberger, zegt: "Wacht even! Laten we eerst kijken naar wat er echt op de foto te zien is, voordat we gaan praten over wat het heet."

De Analogie van de Klei:
Stel je voor dat je een potter bent.

• De oude manier: Je neemt een klomp klei en probeert er direct een "kruik" van te maken omdat je dat wilt verkopen. Als de klei een beetje droog is of een andere kleur heeft, lukt het niet, en gooi je het weg.
• De nieuwe manier: Je kijkt eerst naar de structuur van de klei. Je gebruikt een reeks regels (criteria): "Is het glad? Is het rond? Is het stevig?" Je maakt een perfect gevormde, neutrale bol van klei.
  • Nu kun je die bol gebruiken voor van alles!
  • Vandaag noem je hem een "kruik" (voor de markt).
  • Morgen noem je hem een "vaas" (voor een ander land).
  • Over een jaar, als de smaak verandert, noem je hem een "kunstobject".
  • Het mooie: De bol zelf (de structuur) blijft hetzelfde. Je hoeft de klei niet opnieuw te vormen; je verandert alleen het label dat erbij hoort.

3. Waarom is dit zo slim?

De paper stelt dat we in de wetenschap (van het tellen van vogels tot het scannen van hersenen) vaak te snel gaan "namen". Dit werkt goed als alles stabiel is, maar faalt als:

• De camera's veranderen.
• De seizoenen veranderen (een boom in de winter ziet er anders uit dan in de zomer).
• We iets nieuws ontdekken waarvoor we nog geen naam hebben.

Met de "Eerst de vorm, dan de naam" methode:

1. Je maakt eerst een stabiel fundament: Je gebruikt strikte regels om de foto op te delen in logische stukken (bijv. "dit is een samenhangend gebied", "dit is een rand"). Dit gebeurt zonder te weten wat het is.
2. Je kunt later alles aanpassen: Omdat de basis (de vorm) stabiel is, kun je later zeggen: "Oh, dit stukje is nu een 'eik' geworden" of "Oh, dit stukje is een nieuw type schimmel". Je hoeft de hele analyse niet opnieuw te doen.

4. De "Digitale Tweeling" (Digital Twin)

De paper noemt dit ook belangrijk voor "digitale tweelingen" (digitale kopieën van de echte wereld).
Stel je voor dat je een digitale kopie van een stad bouwt om verkeer te plannen.

• Als je de stad bouwt op basis van namen ("hier is een school, daar een winkel"), en morgen wordt die school een ziekenhuis, moet je de hele digitale stad herbouwen.
• Als je de stad bouwt op basis van structuur ("hier is een groot gebouw met veel ramen, daar een open plein"), dan kun je later gewoon zeggen: "Die grote ramen zijn nu een ziekenhuis". De basisstructuur blijft werken, en je digitale tweeling blijft bruikbaar, zelfs als de namen en functies veranderen.

Samenvatting in één zin

In plaats van te proberen elke foto direct te benoemen (wat vaak mislukt als de wereld verandert), moeten we eerst de onveranderlijke vorm van de dingen vinden met strikte regels, en pas daarna beslissen wat we het gaan noemen.

Dit maakt wetenschappelijke onderzoekers slimmer, flexibeler en minder afhankelijk van verouderde lijsten met namen, zodat ze ook in de toekomst nieuwe dingen kunnen ontdekken zonder hun hele systeem te moeten slopen.

Technische samenvatting

Titel: Criteria-first, semantics-later: reproduceerbare structuurdetectie in op beelden gebaseerde wetenschappen

Auteur: Jan Bumberger et al.
Instituut: Helmholtz Centre for Environmental Research (UFZ), iDiv, Duitsland.

---

1. Het Probleem: De Beperkingen van "Semantics-First"

In de natuur- en levenswetenschappen zijn beelden een primaire meetmethode geworden. De dominante analytische paradigma is echter nog steeds "semantics-first" (semantiek eerst). Hierbij wordt de structuur in data gekenmerkt door het direct toewijzen van metingen aan een vooraf gedefinieerde domein-ontologie (bijv. klassen, objecttypes, landbedekking).

Deze benadering faalt systematisch onder de omstandigheden waarvoor beeldgebaseerde wetenschap het waardevolst is:

• Open-ended wetenschappelijke ontdekking: Nieuwe fenomenen die niet in de trainingslabels zitten, worden niet herkend.
• Cross-sensor en cross-site vergelijkbaarheid: Veranderingen in sensoren, verlichting of locaties leiden tot "domain shift", waardoor modellen die op labels zijn getraind falen.
• Lange-termijn monitoring: Domein-ontologieën en labelsets evolueren cultureel, institutioneel en ecologisch (ontologie-drift). Een analyse die afhankelijk is van een specifieke labelset wordt hierdoor onreproduceerbaar over tijd.

Het fundamentele probleem is dat semantiek geen eigenschap van het beeld is, maar van de interpretatie van een gemeenschap. Semantics-first pipelines verwarren twee operaties: (i) het herwinnen van een structureel product uit metingen en (ii) het toekennen van betekenis. Door betekenis te vroeg op te leggen, wordt de upstream-structuur een gevangene van specifieke ontologieën, wat reproduceerbaarheid en transferabiliteit ondermijnt.

2. Methodologie: "Criteria-first, Semantics-later"

De auteurs stellen een deductieve inversie voor: Criteria-first, semantics-later.

Het Kernprincipe:
Analyse begint met het expliciet definiëren van optimaliteits- en stabiliteitscriteria om een semantiek-vrij structureel product te extraheren. Semantiek wordt pas downstream toegepast als een mapping naar een domein-ontologie.

Formaal Kader:

• Meting ($X$): Een meetveld (pixels, voxels, punten) $X: \Omega \to \mathbb{R}^k$.
• Criterium ($C$): Een volledig gespecificeerd, inspecteerbaar object (parameters, implementatie) dat operationele eisen definieert, zoals homogeniteit, continuïteit, schaal-coherentie, of stabiliteit onder verstoringen.
• Structuur-extractie-operator ($S_C$): Een operator die $X$ transformeert naar een structureel product $S$ op basis van $C$:
  $$S = S_C(X)$$
  Dit product $S$ kan een partitie, graf, hiërarchie of structuurveld zijn. Het is gedefinieerd door de informatie in de meetstroom, niet door labels.
• Semantische Mapping ($M_i$): Pas downstream wordt $S$ gemapt naar een domein-ontologie $O_i$:
  $$M_i: S \to O_i$$
  Meerdere mappings kunnen bestaan voor hetzelfde $S$ (pluralisme), afhankelijk van de toepassing of gemeenschap.

Technische Implementatie:
De methode maakt gebruik van bestaande wiskundige principes die niet semantisch zijn, zoals:

• Variatiele formuleringen (data-fidelity vs. regularisatie).
• Schaalruimte-analyse (structuur die over schalen persistent is).
• Graph-cut optimalisatie.
• Zelftoezicht (Self-Supervised Learning) als implementatie voor criteria-gedreven extractie.

3. Belangrijkste Bijdragen

1. Conceptuele Inversie: Het verschuiven van theorie van impliciete labels naar expliciete, inspecteerbare criteria. Dit maakt de analytische laag onafhankelijk van veranderende domein-ontologieën.
2. Unificerend Kader: Een domein-generiek raamwerk dat toepasbaar is op diverse wetenschapsgebieden (van aardobservatie tot medische beeldvorming en robotica).
3. Definitie van "Structurele Producten": Het introduceren van $S$ als een reproduceerbaar, semantiek-vrij digitaal artefact dat als basis dient voor interpretatie.
4. Validatieparadigma: Een verschuiving van validatie op "class accuracy" (overeenstemming met ground truth labels) naar validatie op structurele eigenschappen:
   • Robuustheid (stabiliteit onder ruis/veranderingen).
   • Schaal-coherentie.
   • Complexiteitscontrole (compressie).
   • Globale optimaliteit.
   • Pluralisme van downstream mappings.

4. Resultaten en Bewijsvoering

De auteurs onderbouwen hun argument met cross-domein bewijs (samengevat in Tabel 1 en Supplement A):

• Aardobservatie & Milieu: Landbedekkingkaarten zijn vaak fragiel door ontologie-drift. Criteria-gedreven segmentatie (bijv. op basis van spectrale homogeniteit) biedt stabiere basis voor veranderingdetectie dan label-gebaseerde classificatie.
• Medische Beeldvorming: Klinische terminologie evolueert. Het extraheren van stabiele grensvlakken en organen op basis van intensiteit/homogeniteit (voorafgaand aan diagnose) zorgt voor reproduceerbaarheid ondanks veranderende protocollen.
• Microscopie: De schaal van data maakt handmatige labeling onmogelijk. Zelftoezicht en morfologische criteria worden gebruikt om cellen/organelles te segmenteren voordat ze worden benoemd.
• Seismologie & Astronomie: In deze velden worden structuren (zoals fouten of sterrenstelsels) vaak eerst geïdentificeerd op basis van signaalcoherentie of anomalieën, waarna geologische of astrofysische interpretaties worden toegevoegd.
• Robotica (SLAM): Simultaneous Localization and Mapping bouwt een geometrische structuur (kaart/traject) op basis van meetfouten en consistentie, onafhankelijk van semantische labels (zoals "tafel" of "kamer").

In al deze domeinen blijkt dat wanneer labels schaars, duur of instabiel zijn, de praktijk automatisch terugvalt op een "criteria-first" benadering, hoewel dit vaak impliciet blijft in plaats van formeel gestandaardiseerd.

5. Betekenis en Toekomstperspectief

De paper heeft diepgaande implicaties voor de toekomst van reproduceerbare wetenschap en AI:

• FAIR en AI-klaar: Structurele producten ($S$) kunnen worden behandeld als FAIR Digital Objects (Findable, Accessible, Interoperable, Reusable). Ze zijn versieerbaar, machine-actieerbaar en bevatten expliciete metadata over de gebruikte criteria en stabiliteitsenveloppen.
• Digitale Twins: Voor digitale tweelingen zijn stabiele, pre-semantische state-variables nodig die over decennia vergelijkbaar blijven, zelfs als de interpretatie (ontologie) verandert. De "criteria-first" laag biedt deze stabiliteit.
• Open-ended Ontdekking: Door niet vast te zitten aan een vooraf gedefinieerde labelset, kunnen afwijkingen in de meetstroom worden gedetecteerd als nieuwe fenomenen, wat essentieel is voor wetenschappelijke doorbraken.
• Onderzoeksagenda: De auteurs pleiten voor het formaliseren van criteria, het bouwen van structurele benchmarks (in plaats van alleen semantische benchmarks), en het standaardiseren van schema's voor semantiek-vrije structurele producten.

Conclusie:
De paper stelt dat reproduceerbaarheid in de beeldwetenschappen niet kan worden bereikt door betere labels, maar door het scheiden van meting-naar-structuur (gedreven door expliciete criteria) van structuur-naar-betekenis (gedreven door domein-ontologieën). Dit maakt wetenschappelijke vergelijking mogelijk over tijd, ruimte en gemeenschappen heen, ongeacht hoe de interpretatie van de data evolueert.