TRACE: Your Diffusion Model is Secretly an Instance Edge Detector

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kunstwerk bekijkt en je wilt precies weten waar de ene kat ophoudt en de andere begint. Normaal gesproken heb je daar een menselijke schilder voor nodig die met een penseel elke randje nauwkeurig uittekent. Dit proces is echter extreem tijdrovend, duur en vaak inconsistent (sommige schilders zijn netter dan anderen).

Het paper TRACE (dat op de conferentie ICLR 2026 wordt gepresenteerd) komt met een verrassende ontdekking: een kunstmatige intelligentie die beelden maakt, weet al precies waar de randen zijn, zonder dat we het haar ooit hebben geleerd.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Geheim van de "Drukkende" Kunstenaar

Stel je voor dat een AI (een "diffusiemodel") een foto tekent. Het begint met een potje vol met grijs, wazig ruis (als een potje verf dat nog niet gemengd is). Vervolgens begint de AI langzaam het beeld te "ontdooien" of te "ontruisen".

De oude manier: Meestal kijken AI's naar het eindresultaat om te zien wat er op de foto staat.
De TRACE-ontdekking: De auteurs ontdekten dat er een heel specifiek moment is tijdens het "ontdooien" (het proces van ruis naar beeld) waarop de AI plotseling de grenzen tussen objecten ziet, nog voordat ze de details van de objecten zelf volledig begrijpen.

Het is alsof je een foto van een bos ziet ontwikkelen in een chemische bad. Eerst zie je alleen vlekken, dan plotseling zie je heel duidelijk waar de boomstammen eindigen en de lucht begint, en pas daarna zie je de bladeren. TRACE pikt precies dat moment van "grens-zien" eruit.

2. De Drie Stappen van TRACE

TRACE is een slimme methode die dit geheim gebruikt in drie stappen:

Stap 1: Het Vinden van het "Gouden Moment" (Instance Emergence Point)
De AI kijkt naar het proces van het maken van de foto. Ze zoekt het exacte moment waarop de "ruis" verandert in duidelijke vormen.
- Vergelijking: Stel je voor dat je een film in sneltijd afspeelt. TRACE stopt de film precies op het frame waar de silhouetten van de objecten voor het eerst duidelijk zichtbaar worden, voordat ze gaan vervagen of samensmelten.
Stap 2: Het Tekenen van de Randen (Attention Boundary Divergence)
Op dat gouden moment kijkt de AI naar hoe ze "kijkt" naar het beeld (haar interne "aandacht"). Als twee pixels naast elkaar heel verschillend "kijken", is dat een rand. Als ze hetzelfde kijken, horen ze bij hetzelfde object.
- Vergelijking: Het is alsof je twee buren hebt. Als ze heel goed met elkaar kunnen praten (dezelfde aandacht), wonen ze in hetzelfde huis. Als ze elkaar haten of totaal niet begrijpen (verschillende aandacht), is er een muur tussen hen. TRACE tekent die muren op.
Stap 3: De Slimme Leerling (One-step Distillation)
Normaal zou je dit proces voor elke foto moeten doen, wat erg lang duurt. TRACE "leert" een slimme, snelle leerling (een klein modelletje) om dit in één keer te doen.
- Vergelijking: In plaats van elke keer zelf de hele film te bekijken om het juiste frame te vinden, heeft TRACE een student die de film heeft gezien en nu in één seconde kan zeggen: "Hier is de rand!" Dit maakt het 81 keer sneller dan de oude methoden.

3. Waarom is dit zo geweldig?

Geen dure labels nodig: Voorheen moesten mensen duizenden foto's handmatig inkleuren (masks) om AI's te leren objecten te scheiden. TRACE heeft niets nodig. Het werkt puur op de foto's die de AI al kent.
Het lost het "Samengeperst" probleem op: Bestaande methoden zien vaak twee naast elkaar staande katten als één grote, vage kat. TRACE ziet precies waar de ene kat ophoudt en de andere begint.
Het werkt overal: Of het nu gaat om het tellen van auto's in het verkeer, het scheiden van mensen in een menigte, of het vinden van cellen in een medische scan (hoewel hier nog wat voorzichtigheid nodig is), TRACE levert scherpe, duidelijke lijnen.

De Grootste Conclusie

De auteurs zeggen eigenlijk: "Jullie denken dat deze AI's alleen maar mooie plaatjes kunnen maken, maar ze zijn in feite geheime rand-detectoren!"

TRACE haalt deze verborgen kennis naar boven. Het is alsof je ontdekt dat een chef-kok die een prachtige taart bakt, ook een meester is in het precies snijden van de taart in gelijke stukken, zonder dat je het hem ooit hebt gevraagd. TRACE gebruikt die vaardigheid om computers te helpen objecten in foto's te tellen en te scheiden, zonder dat er een menselijke duim op de knop hoeft te drukken.

Kortom: TRACE maakt het mogelijk om beelden te analyseren met de precisie van een menselijke expert, maar dan automatisch, gratis en razendsnel, puur door te kijken naar hoe een AI een beeld "ontwikkelt".

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Traditionele methoden voor hoogwaardige instantie- en panoptische segmentatie zijn afhankelijk van dichte, pixel-perfect annotaties (zoals maskers, kaders of punten). Deze annotaties zijn echter:

Duur en tijdrovend: Ze vereisen intensieve menselijke inspanning.
Inconsistent: Verschillende annotatoren kunnen verschillende grenzen trekken.
Moeilijk te schalen: Ze vormen een bottleneck voor het trainen van modellen op grote schaal.

Bestaande alternatieven hebben hun eigen beperkingen:

Ongecontroleerde (Unsupervised) methoden: Gebaseerd op clustering van semantische features (bijv. via Vision Transformers zoals DINO). Deze neigen ernaar om objecten van dezelfde klasse die naast elkaar liggen te samenvoegen of individuele objecten te fragmenteren, omdat ze zijn geoptimaliseerd voor semantische gelijkenis en niet voor instantie-scheiding.
Zwak gecontroleerde (Weakly-supervised) methoden: Gebruiken vaak beeldlabels (tags) of punten. Hoewel dit de kosten verlaagt, missen deze methoden vaak de geometrische precisie om overlappende objecten correct te scheiden, wat leidt tot gebrekkige resultaten.

Er is een dringende behoefte aan een methode die geen instantie-annotaties vereist, maar toch scherpe en verbonden grenzen tussen objecten kan genereren.

Methodologie: TRACE

TRACE (TRAnsforming diffusion Cues to instance Edges) is een raamwerk dat aantoont dat tekst-naar-beeld diffusiemodellen (zoals Stable Diffusion) verborgen informatie bevatten over instantiegrenzen die kunnen worden ontsloten zonder extra training of prompts. De methode bestaat uit drie kerncomponenten:

1. Identificatie van het "Instance Emergence Point" (IEP)

Tijdens het denoising-proces van een diffusiemodel (van ruis naar beeld) doorloopt het model verschillende fasen:

Eerst is de structuur puur ruis.
Dan verschijnen er scherpe instantiegrenzen.
Daarna stabiliseert de vorm en verfijnt de semantiek.

TRACE analyseert de zelf-attentiekaarten (self-attention maps) van het model tijdens dit proces. De auteurs stellen vast dat er een specifiek tijdstip ( $t^*$ ) is waarop de zelf-attentie het meest gevoelig is voor instantie-grenzen. Dit moment wordt gevonden door de Kullback-Leibler (KL) divergentie tussen opeenvolgende zelf-attentiekaarten te maximaliseren. Op dit punt (IEP) zijn de objectgrenzen het duidelijkst zichtbaar in de attentiekaarten, voordat de semantische details de structuur overstemmen.

2. Attention Boundary Divergence (ABDiv)

Zodra de IEP is gevonden, wordt de bijbehorende zelf-attentiekarte ( $SA_{inst}$ ) gebruikt om randen te extraheren.

Principe: Pixels binnen hetzelfde object hebben vergelijkbare zelf-attentieverdelingen, terwijl pixels over een objectgrens heen sterk divergeren.
Berekening: ABDiv berekent de KL-divergentie tussen tegenovergestelde buren (bijv. links/rechts en boven/onder) voor elke pixel. Een hoge divergentie wijst op een instantiegrens.
Filtering: Om ruis te minimaliseren, worden pixels met een onzekere score (tussen $\mu - \sigma$ en $\mu + \sigma$ ) gemaskeerd en niet gebruikt voor verdere verwerking.

3. One-Step Self-Distillation

Het direct uitvoeren van het IEP- en ABDiv-proces voor elke afbeelding tijdens inferentie is te traag (vereist een volledige diffusielaag). Om dit op te lossen:

De auteurs distilleren de kennis van het diffusiemodel in een lichtgewicht randdecoder (edge decoder).
Ze gebruiken een Low-Rank Adaptation (LoRA) om het diffusiemodel aan te passen en trainen de decoder om de randen direct te voorspellen op basis van de inputafbeelding (bij $t=0$ ), zonder de volledige denoising-trajectorie te hoeven doorlopen.
Dit resulteert in een één-staps predictor die 81x sneller is dan het oorspronkelijke proces, terwijl het de scherpte en connectiviteit van de randen behoudt.

Integratie in Segmentatie (BGP)

De gegenereerde randen worden gebruikt als priors voor downstream segmentatiemodellen (zoals MaskCut of Mask2Former) via een Background-Guided Propagation (BGP). De randen fungeren als barrières die voorkomen dat maskers van aangrenzende objecten samenvloeien, en helpen gebroken maskers binnen één object te verbinden.

Kernbijdragen

Observatie: Zelf-attentie in diffusiemodellen onthult tijdelijk maar betrouwbaar instantie-structuren tijdens het denoising-proces, in tegenstelling tot traditionele visuele transformers (zoals DINO) die voornamelijk semantische groepering tonen.
Nieuwe Technieken: De introductie van IEP (voor het vinden van het optimale tijdstip) en ABDiv (voor het omzetten van attentie in randen) voor annotatie-vrije instantie-detectie.
Efficiëntie: Een distillatie-methode die de inferentie-tijd met een factor 81 verlaagt, waardoor real-time toepassing mogelijk wordt.
Prestaties: TRACE verbetert ongecontroleerde en zwak gecontroleerde segmentatie aanzienlijk zonder enige instantie-annotatie (geen maskers, kaders of punten nodig).

Resultaten

TRACE presteert uitstekend op standaard benchmarks zoals COCO en VOC 2012:

Ongecontroleerde Instantie Segmentatie (UIS):
- TRACE verbetert de bestaande ongecontroleerde baselines (zoals MaskCut en ProMerge) met +5.1 AP op COCO.
- Het presteert beter dan dieptegerichte methoden (zoals CutS3D), wat aantoont dat diffusiële prioren robuuster zijn voor grensidentificatie.
Zwak Gecontroleerde Panoptische Segmentatie:
- Met alleen beeldlabels (tags) als supervisie, overtreft TRACE methoden die punten nodig hebben voor supervisie.
- Op VOC 2012 wordt een verbetering van +1.7 PQ (Panoptic Quality) behaald ten opzichte van puntsupervisie-baselines, zonder enige instantie-annotatie te gebruiken.
- Het slaat zelfs open-vocabulary detectoren (zoals Grounding DINO + SAM) voor bepaalde taken, met name bij het scheiden van dicht op elkaar liggende objecten.
Randkwaliteit:
- TRACE bereikt een ODS (Optimal Dataset Scale) score van 0.889 voor instantiegrenzen, wat meer dan het dubbele is van de sterkste bestaande randdetectoren (zoals DiffusionEdge met 0.428).
- De gegenereerde randen zijn topologisch verbonden, wat cruciaal is voor het correct scheiden van objecten.

Significantie en Impact

Paradigmaverschuiving: Het paper onthult dat generatieve diffusiemodellen niet alleen beeldsynthese kunnen, maar ook intrinsiek "weten" hoe objecten gescheiden zijn. Dit maakt dure annotatie voor instantie-segmentatie overbodig voor veel toepassingen.
Schalbaarheid: Omdat TRACE geen extra annotatie vereist en werkt met bestaande, voorgeïmplementeerde diffusiemodellen, is het een zeer schaalbare oplossing voor real-world toepassingen zoals autonoom rijden en medische beeldanalyse (hoewel er beperkingen zijn bij zeer kleine objecten of domeinverschillen).
Complementair met SAM: TRACE levert de "zaden" (seeds) of randen die nodig zijn voor modellen zoals Segment Anything (SAM) om deze te verfijnen tot precieze maskers, waardoor een krachtige, annotatie-vrije pipeline ontstaat.
Efficiëntie: Door de distillatie naar een één-staps decoder, wordt de hoge rekentijd van diffusiemodellen omzeild, waardoor de technologie praktisch toepasbaar wordt in real-time systemen.

Kortom, TRACE bewijst dat de "geheime" grensinformatie in diffusiemodellen een krachtig, gratis en schaalbaar alternatief is voor traditionele, dure annotatie-methoden in de computer vision.