DuoTeach: Dual Role Self-Teaching for Coarse-to-Fine Decision Coordination in Vision--Language Models

Probleemstelling: Coarse-to-Fine Besluitvorming en Evaluatiekloof

Veel toepassingen van Vision-Language Models (VLM's), zoals productcategorisatie of medische codering, vereisen coarse-to-fine pad-besluitvorming. Hierbij moet het model een geldig taxonomisch pad voorspellen (van algemeen naar specifiek), waarbij elke beslissing op een lager niveau afhankelijk is van de eerdere beslissingen op hogere niveaus.

De huidige uitdagingen zijn:

1. Onduidelijke Evaluatie: Bestaande benchmarks evalueren vaak elk taxonomisch niveau onafhankelijk van elkaar. Dit verbergt inconsistenties; een model kan bijvoorbeeld "Dier" (niveaus 1) en "Kat" (niveaus 3) correct voorspellen als ze apart worden gevraagd, maar een ongeldig pad genereren zoals "Dier → Vogel → Kat" wanneer ze in één keer moeten worden voorspeld.
2. Coördinatieprobleem: Onder een strikte evaluatie, waarbij het volledige pad in één call moet worden gegenereerd, blijken zelfs sterke VLM's vaak te falen. Ze produceren ongeldige ouder-kind-paren en broze paden. Dit wijst erop dat het probleem niet alleen ontbreekt aan taxonomische kennis ligt, maar vooral aan instabiele coördinatie van beslissingen tussen verschillende niveaus binnen één inferentie-call.

Methodologie: DuoTeach en JPD

De auteurs introduceren een nieuwe evaluatieprotocol en een trainingsframework om dit probleem aan te pakken.

1. Joint Path Decision (JPD) Protocol en DWPA

Om de realiteit van één-call besluitvorming beter te evalueren, stellen de auteurs het Joint Path Decision (JPD) protocol voor. Hierbij ontvangt het model alle vragen voor elk taxonomisch niveau in één enkele call en moet het een coherent pad teruggeven.
Om dit te meten, introduceren ze Depth-Weighted Prefix Accuracy (DWPA). Dit is een metriekfamilie die de betrouwbaarheid van het pad meet op basis van voorvoegsel-correctheid (prefix correctness), met een instelbare gewichtsfactor ($\alpha$) die de nadruk legt op diepere niveaus.

• DWPA$_{0.95}$: Legt sterke nadruk op de correctheid van het eindpunt (het blad).
• DWPA$_{1/L}$: Meet de lengte van het langste correcte voorvoegsel.

2. DuoTeach Framework

DuoTeach is een dual-role self-teaching distillatieframework dat geen extra ground-truth labels vereist en dezelfde vooraf getrainde VLM in twee rollen gebruikt:

• De Leraar (Frozen Teacher): Voert een Decision-Conditioned Rollout (DCR) uit. Dit is een rekentijd-intensieve, stap-voor-stap proces waarbij het model het taxonomische niveau per niveau doorloopt. Elke beslissing op niveau $\ell$ wordt gebaseerd op de eerder gegenereerde beslissingen van niveaus $1$ tot $\ell-1$. Hierdoor worden coherente "leraar-traces" gegenereerd die de juiste ouder-kind-relaties respecteren.
• De Student (Trainable Student): Een model dat wordt getraind om het volledige taxonomische pad in één enkele call (onder JPD) te voorspellen.
• Distillatie: De student wordt getraind om de gedragingen van de leraar na te bootsen op specifieke "beslispunten" (decision points). De loss-functie bestaat uit drie componenten:
  1. Hard Loss (CE): Kijkt naar de discrete keuze van de leraar.
  2. Soft Loss (KL): Kijkt naar de kansverdeling van de leraar.
  3. Feature Loss: Kijkt naar de interne hidden states van de leraar op het moment van de beslissing.

Het doel is om de complexe, meervoudige stappen van de leraar te "distilleren" in een efficiënte, single-call student die even goed kan coördineren zonder extra inferentie-overhead.

Kernbijdragen

1. Nieuw Evaluatieprotocol: Introductie van JPD en DWPA om de betrouwbaarheid van volledige taxonomische paden in één call te meten, in plaats van geïsoleerde niveauscores.
2. Diagnose van Falen: Het paper toont aan dat sterke VLM's onder JPD vaak falen door gebrek aan cross-level coördinatie, niet alleen door gebrek aan kennis.
3. DuoTeach Framework: Een innovatieve self-teaching methode die een enkel model gebruikt als zowel leraar (via DCR) als student, zonder externe teachers of extra testtijd-rollouts.
4. Generalisatie: Het bewijst dat het leren van coördinatiepatronen generaliseert naar onbekende taxonomieën en andere taken.

Resultaten

De experimenten zijn uitgevoerd op diverse taxonomie-structuren (o.a. iNaturalist, ImageNet, CUB-200) met verschillende VLM-backbones (LLaVA-OV, InternVL, Qwen2.5-VL).

• Verbetering in Coördinatie: DuoTeach verbetert de DWPA$_{0.95}$ aanzienlijk. Op de ImageNet-Animal dataset steeg de score van een basismodel (LLaVA-OV-7B) van 0,69% naar 30,93% (+30,24 punten).
• Zero-Shot Generalisatie: Het model toont sterke prestaties op onbekende taxonomieën. Op Food-101 (niet getraind) steeg de DWPA$_{0.95}$ van 17,17% naar 43,66%.
• Efficiëntie:
  • Modelgrootte: Een 7B DuoTeach student presteert vergelijkbaar met een 32B basismodel, maar gebruikt 4x minder VRAM en heeft een hogere doorvoer.
  • Inferentie: Door de distillatie van multi-stap DCR naar een single-call JPD, wordt de latentie met een factor 3,34x verlaagd (van ~1162ms naar ~347ms per sample).
• Ablatie: Het verwijderen van enige van de drie loss-componenten (hard, soft, feature) leidt tot een daling in prestaties, wat aantoont dat alle drie nodig zijn voor stabiele coördinatie.

Betekenis en Conclusie

DuoTeach adresseert een fundamenteel probleem in Vision-Language Models: het vermogen om complexe, hiërarchische beslissingen te coördineren binnen één inferentie-call. Door gebruik te maken van self-teaching via een compute-intensive leraar (DCR) en het distilleren hiervan naar een efficiënte student, overwinnen de auteurs de kloof tussen kennis en coördinatie.

De belangrijkste implicatie is dat modellen niet alleen meer "kennis" nodig hebben, maar ook moeten leren hoe ze hun eigen eerdere beslissingen consistent moeten gebruiken om latere beslissingen te sturen. Deze aanpak biedt een schaalbare oplossing voor hiërarchische taken in real-world toepassingen, waarbij zowel nauwkeurigheid als inferentie-efficiëntie cruciaal zijn.