TaxaAdapter: Vision Taxonomy Models are Key to Fine-grained Image Generation over the Tree of Life

Probleemstelling

Het genereren van afbeeldingen van specifieke diersoorten binnen de "Tree of Life" (Levensboom) vormt een unieke uitdaging voor tekst-naar-beeld synthese. Hoewel moderne diffusion-modellen (zoals Stable Diffusion en FLUX) uitstekende foto-realistische beelden kunnen genereren, falen ze vaak bij het onderscheiden van fijnmazige (fine-grained) soorten.

• Subtiele verschillen: Soortidentiteit wordt vaak bepaald door subtiele morfologische kenmerken (bijv. lichte verschillen in snavelkromming of verenpatronen) die nauwelijks te onderscheiden zijn voor algemene modellen.
• Lange staartverdeling: Er zijn meer dan 10 miljoen soorten op aarde, maar voor veel daarvan zijn er slechts een handvol trainingsafbeeldingen beschikbaar. Bestaande modellen zijn vaak getraind op brede semantische categorieën (bijv. "vogel") in plaats van precieze taxonomische onderscheidingen.
• Tekortkomingen van bestaande methoden: Modellen die proberen taxonomische kennis te integreren, vereisen vaak dure training van embeddings vanaf nul, wat schaalbaarheid beperkt en generalisatie naar onbekende soorten (out-of-distribution) belemmert.

Methodologie: TaxaAdapter

De auteurs stellen TaxaAdapter voor, een lichtgewicht, plug-in architectuur die Vision Taxonomy Models (VTM's) koppelt aan een bevroren tekst-naar-beeld diffusion-model.

1. Dual Conditioning Mechanisme:
In plaats van de diffusion-backbone volledig te hertrainen, introduceert TaxaAdapter een tweede conditioneringstak naast de bestaande tekst-tak:

• Tekst-tak: Behoudt de originele CLIP-tekstencoder voor vrije tekst-prompten (context, stijl, achtergrond, houding).
• Taxonomie-tak: Gebruikt een vooraf getraind Vision Taxonomy Model (zoals BioCLIP, TaxaBind of BioTrove-CLIP) om een taxonomische string (van Rijk tot Soort) te coderen in een embedding die visueel en taxonomisch gealigneerd is.

2. Decoupled Cross-Attention:
De twee conditioneringstaken worden niet samengevoegd (bijv. door middeling), maar via een ontkoppelde cross-attention-mechanisme in de U-Net van de diffusion-model geïntegreerd.

• De taxonomie-embedding ($c_{taxa}$) wordt eerst geprojecteerd en levert dan sleutel-waarde paren die zich richten op soort-specifieke morfologie.
• De tekst-embedding ($c_{text}$) behoudt de controle over contextuele cues (achtergrond, stijl).
• Dit zorgt ervoor dat het model de biologische precisie van de soort behoudt terwijl het flexibel blijft op tekstuele instructies.

3. Parameter-efficiënte Training:

• De diffusion-backbone en de VTM-encoders blijven bevroren.
• Alleen de projectielagen en de nieuwe cross-attention-lagen worden getraind. Dit maakt de methode computatie-efficiënt en voorkomt "catastrophic forgetting" van de oorspronkelijke tekst-beeldkoppeling.
• Tijdens inferentie kan de sterkte van de taxonomie-conditioning worden geregeld via een gewichtsfactor $\lambda$.

4. Nieuwe Evaluatiemethode (Trait Fidelity):
Omdat standaard metrics (zoals FID) vaak alleen lage niveau-structuur meten, introduceren de auteurs een MLLM-gebaseerde evaluatie:

• Stappen: (1) Genereren van trait-captions voor real en gegenereerde beelden met een Multimodal Large Language Model (InternVL3), (2) Samenvatten van deze captions per soort tot één "trait description" met een LLM, en (3) Berekenen van tekstuele gelijkenis (BERTScore, CLIPScore, etc.) tussen de samenvattingen. Dit biedt een interpreteerbare maatstaf voor morfologische consistentie.

Kernbijdragen

1. TaxaAdapter Framework: De eerste framework die pre-getrainde Vision Taxonomy Models succesvol integreert in generatieve diffusion-modellen voor fijnmazige biologische synthese.
2. Dual Conditioning Strategie: Een innovatieve aanpak die taxonomische kennis en vrije tekstconditionering ontkoppeld combineert, waardoor zowel biologische nauwkeurigheid als creatieve flexibiliteit wordt behouden.
3. Generalisatievermogen: Het model toont sterke prestaties in few-shot scenario's (weinig trainingsdata) en out-of-distribution scenario's (soorten die tijdens training niet zijn gezien), dankzij de kennis van de VTM.
4. Nieuwe Evaluatie-protocol: Een schaalbare, MLLM-gedreven metric voor het evalueren van morfologische eigenschappen, die beter aansluit bij biologische eisen dan traditionele beeldmetrics.

Resultaten

Experimenten zijn uitgevoerd op diverse biodiversiteitsdatasets (iNat-mini, TreeOfLife-1M, FishNet) met als baselines SD 1.5, SD 3.5, FLUX.1-dev en TaxaDiffusion.

• Kwaliteit en Identiteit: TaxaAdapter overtreft alle baselines significant op Classificatie Accuracy Score (CAS). Waar baselines vaak de verkeerde soort genereren (bijv. 2-7% CAS), bereikt TaxaAdapter tot ~80% CAS@5.
• Morfologische Fidelity: De methode levert de beste resultaten op de nieuwe trait-fidelity metrics en verbetert de BioCLIP-score (taxonomie-beeld alignering) aanzienlijk.
• Few-shot & OOD: Zelfs met slechts één trainingsafbeelding per soort of bij volledig onbekende soorten (gezien in de CUB-200 dataset), behoudt TaxaAdapter de correcte morfologische kenmerken, terwijl baselines hierin falen.
• Flexibiliteit: Het model kan soepel worden gestuurd met prompts zoals "op een boom", "schetsstijl" of "in de sneeuw" zonder de soortidentiteit te verliezen.

Betekenis en Impact

Dit werk markeert een belangrijke stap in de toepassing van AI voor de biodiversiteitswetenschap.

• Schaalbaarheid: Het biedt een praktische route om realistische afbeeldingen te genereren voor miljoenen soorten, zelfs waar data schaars is.
• Wetenschappelijke Toepassing: Het kan biologen helpen bij het visualiseren van zeldzame soorten, het ontdekken van diagnostische kenmerken van nauw verwante taxa en het creëren van synthetische datasets voor training van andere modellen.
• Paradigmaverschuiving: Het paper toont aan dat het gebruik van gespecialiseerde, domein-specifieke embeddings (VTM's) superieur is aan het simpelweg fine-tunen van generieke modellen of het trainen van taxonomische embeddings vanaf nul. De eenvoud van de architectuur (zonder complexe loss-functies) is een sterk punt voor adoptie en uitbreiding.

Kortom, TaxaAdapter bewijst dat Vision Taxonomy Models een essentiële component zijn voor het realiseren van schaalbare, nauwkeurige en controleerbare generatie van soorten over de hele levensboom.