💻 computer science

Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

Dit paper introduceert LaPR, een labelbewust raamwerk voor promptretrieval in visuele in-context learning dat de prestaties verbetert door expliciete labelinformatie te integreren en een mix-van-experts-mechanisme te gebruiken voor query-adaptieve routing.

Oorspronkelijke auteurs: Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

Gepubliceerd 2026-04-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

"Liefde voor het label: Waarom de naam van een foto net zo belangrijk is als de foto zelf"

Stel je voor dat je een zeer slimme kunstenaar hebt die nog nooit iets heeft getekend, maar wel heel goed kan kopiëren als je hem een voorbeeld laat zien. Dit is wat Visuele In-Context Learning (VICL) doet: een AI die een taak leert door naar voorbeelden te kijken.

Stel, je wilt dat de AI een foto van een hond in kleur brengt. Je geeft de AI een "prompt" (een voorbeeld): een zwart-wit foto van een hond en de bijbehorende kleurenfoto. De AI kijkt naar dit voorbeeld en probeert jouw foto van de hond ook in te kleuren.

Het probleem? Hoe kies je het perfecte voorbeeld?

Het oude probleem: "Kijk alleen naar de foto"

Tot nu toe keken computers alleen naar hoe de foto eruitzag. Als je een foto van een hond had, zocht de computer naar andere foto's die er visueel op leken.
Maar hier zit een valkuil! Stel je voor dat de computer een foto vindt van een hond die naast een bloem staat. Visueel lijkt het op jouw foto (want er is een hond), maar het label (de naam) bij dat voorbeeld is "Bloem".

Als de AI denkt: "Aha, dit is een voorbeeld van een bloem!", gaat hij jouw hond proberen te veranderen in een bloem. Dat is natuurlijk niet wat je wilt. De oude systemen zagen de foto, maar negeerden de naam (het label) erbij.

De nieuwe oplossing: LaPR (Liefde voor het Label)

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd LaPR. Hun motto is: "Love Me, Love My Label" (Liefde voor mij, liefde voor mijn label). Ze zeggen: "Je kunt niet kiezen voor een voorbeeld als je niet kijkt naar wat het is, niet alleen hoe het eruitziet."

Hier is hoe het werkt, met een paar creatieve vergelijkingen:

1. De Twee-Ogen Benadering (Afbeelding + Label)

Stel je voor dat je op zoek bent naar een recept om een taart te bakken.

De oude manier: Je zoekt naar een foto van een taart. Je vindt een foto van een taart, maar de tekst eronder zegt "Pizza". Als je die gebruikt, ga je pizza-bloem gebruiken in je taart.
De LaPR-methode: Je kijkt niet alleen naar de foto van de taart, maar leest ook de tekst eronder. Je zoekt specifiek naar een foto van een taart met het label "Taart". Zo weet je zeker dat het voorbeeld klopt.

2. Het Expert-Panel (De Mix van Experts)

Soms is een hond niet zomaar een hond. Soms is het een hond met lange oren, soms met een kort snuitje, soms een puppy.
LaPR gebruikt een slimme truc genaamd "Mixture of Experts" (Mix van Experts).

Stel je voor dat je een team van specialisten hebt: Expert A is goed in honden met lange oren, Expert B in honden met korte snuiten, Expert C in puppy's.
Wanneer jij een nieuwe foto van een hond laat zien, heeft de AI een Router (een manager). Deze manager kijkt naar jouw foto en zegt: "Oké, deze hond heeft lange oren, we gebruiken 80% Expert A en 20% Expert B."
Zo maakt de AI een heel specifiek "gevoel" van jouw hond, in plaats van een vaag gemiddelde.

3. De Manager die de juiste experts kiest

Het lastige is: bij jouw vraag (de "query") weet de computer vaak niet precies wat het label is (bijvoorbeeld: "Is dit een hond of een wolf?").
De Router in LaPR is slim genoeg om te raden: "Dit lijkt op een hond met lange oren." Hij kiest dan de experts die goed zijn bij dat type hond. Hierdoor zoekt hij in de database ook naar voorbeelden die bij dat specifieke type passen, en negeert hij voorbeelden die er wel op lijken maar een verkeerde naam hebben.

Waarom is dit belangrijk?

De onderzoekers hebben dit getest op drie taken:

Segmentatie: Het precies uitsnijden van objecten (bijv. de hond van de achtergrond halen).
Detectie: Het vinden van objecten (waar zit de hond?).
Kleuring: Het inkleuren van zwart-wit foto's.

In al deze gevallen werkte LaPR beter dan de oude methoden. Waarom? Omdat de AI niet meer verward raakt door voorbeelden die er op het eerste gezicht op lijken, maar eigenlijk een heel ander doel hebben.

Samenvattend in één zin:

LaPR is als een slimme bibliothecaris die niet alleen naar de kaft van een boek kijkt (de afbeelding), maar ook de titel (het label) leest, zodat hij je precies het juiste boek geeft voor jouw vraag, in plaats van een boek dat er op lijkt maar over een heel ander onderwerp gaat.

Door de naam van het voorbeeld net zo belangrijk te maken als het beeld, wordt de AI veel slimmer en nauwkeuriger.

1. Probleemstelling

Visuele In-Context Learning (VICL) stelt fundamentele visuele modellen in staat om diverse taken uit te voeren door gebruik te maken van demonstratieve prompts (voorbeelden). De prestaties van VICL zijn sterk afhankelijk van de keuze van deze prompts.

Huidige methoden voor prompt-retrieval en -herordening (reranking) focussen bijna uitsluitend op de visuele gelijkenis tussen de query-afbeelding en de prompt-afbeeldingen. Ze negeren echter de bijbehorende labels (zoals segmentatiemaskers, dieptekaarten of kleurinformatie).

Het probleem: Systemen kunnen prompts ophalen die visueel vergelijkbaar zijn maar label-inconsistent. Bijvoorbeeld: een query met een kat kan een prompt ophalen die een kat en een bloem toont, maar is gelabeld als "bloem". Dit leidt tot foutieve in-context voorspellingen.
De observatie: Er is een sterke positieve correlatie tussen label-consistentie tussen query en prompt en de uiteindelijke VICL-prestaties. Bestaande methoden verliezen deze cruciale informatie doordat ze tijdens de inferentie alleen de query-afbeelding zien en labels aan de prompt-kant vaak negeren.

2. Methodologie: LaPR (Label-aware Prompt Retrieval)

De auteurs stellen LaPR voor, een nieuw raamwerk dat labels expliciet integreert in het retrievalsysteem. De kerncomponenten zijn:

A. Label-bewuste Representaties

Prompt-zijde: In plaats van alleen de afbeelding te coderen, worden de afbeeldingsfeatures ( $z^I$ ) en de label-features ( $z^L$ ) gefuseerd tot een gezamenlijke representatie ( $z = z^I + z^L$ ). Dit zorgt ervoor dat de prompt-embeddings labelinformatie expliciet bevatten.
Query-zijde: Omdat het label van de query ( $y_q$ $y_{q}$ ) tijdens de inferentie onbekend is, wordt een Mixture-of-Experts (MoE) mechanisme gebruikt.
- Er zijn meerdere experts ( $E_k$ ) die specifieke "modi" (bijv. specifieke kenmerken zoals "hoorn", "snavel", of "staart") leren coderen.
- Een router ( $R$ ) analyseert de query en genereert een gewichtsverdeling ( $\pi_q$ ) over deze experts. Deze gewichten schatten het impliciete label van de query en selecteren de meest relevante expert-modi.
- De uiteindelijke query-embedding is een gewogen som van de expert-outputs, waardoor een "label-bewuste" query-embedding ontstaat.

B. Query-Relevante Prompt Extractie

De router-gewichten van de query ( $\pi_q$ ) worden gebruikt om de prompt-embeddings te filteren. De prompt-embeddings worden ook opgesplitst in expert-modi. De systemen combineren de prompt-modi die het meest overeenkomen met de geschatte query-labels om een query-relevante prompt-embedding te vormen.

C. Alternatieve Optimalisatie (Decoupling)

Om de rollen van de experts en de router te ontkoppelen en stabiel te trainen, wordt een alternatieve optimalisatie strategie gebruikt binnen elke mini-batch:

Expert-stap (Performance-guided): De experts worden geoptimaliseerd met een contrastieve loss die is gebaseerd op de daadwerkelijke VICL-prestatie (taken zoals segmentatie of detectie). De router is hierbij vast. Dit zorgt ervoor dat experts sterke, modus-specifieke coderingen leren.
Router-stap (Label-guided): De experts worden bevroren en de router wordt geoptimaliseerd. De loss is gebaseerd op label-consistentie (hoe goed de geschatte label-modi overeenkomen met de ground-truth labels van de prompts). Een load-balancing loss wordt toegevoegd om ervoor te zorgen dat alle experts gelijkmatig worden gebruikt en niet alleen een paar dominant zijn.

3. Belangrijkste Bijdragen

Eerste label-bewuste retrieval: LaPR is het eerste systeem dat labels expliciet gebruikt voor prompt-selectie in VICL, wat een nieuw conceptueel inzicht biedt in het belang van semantische consistentie boven puur visuele gelijkenis.
Architectuur: Een innovatieve architectuur die prompt-labels injecteert in gezamenlijke embeddings en MoE gebruikt om zowel query als prompt te modelleren via een query-afhankelijke router.
Decoupled Training: Een effectieve trainingsstrategie die de optimalisatie van modus-specifieke experts en de inferentie van label-verdelingen door de router ontkoppelt, wat leidt tot stabielere en betere resultaten.
State-of-the-Art Resultaten: Het framework presteert consistent beter dan bestaande methoden op drie verschillende taken.

4. Resultaten

De auteurs hebben LaPR getest op drie VICL-taken: voorgrondsegmentatie, enkel-objectdetectie en kleurtoewijzing (colorization), voornamelijk met de Pascal-5i en Pascal VOC datasets.

Prestaties: LaPR bereikt state-of-the-art resultaten. Zonder voting-strategie verbetert het de prestaties ten opzichte van de sterke herordening-baselines (zoals RH-Partial2Global) met 6,00% voor segmentatie en 3,46% voor detectie.
Cross-Fold Generalisatie: LaPR toont uitstekende transferabiliteit. Wanneer getraind op één "fold" (subset van categorieën) en getest op andere folds, overtreft het bestaande methoden (SupPR en Partial2Global) met marges van 14,8% en 13,9%. Dit suggereert dat de geleerde modi fijner zijn dan ruwe categorie-informatie.
Robuustheid: De methode werkt goed met verschillende feature-extractors (CLIP en DINOv2), wat aantoont dat het voordeel van label-aware retrieval onafhankelijk is van de onderliggende encoder.
Kwalitatieve Analyse: Visualisaties tonen aan dat LaPR prompts ophaalt die zowel visueel als semantisch (label) consistent zijn, terwijl label-agnostische methoden vaak prompts ophalen met visuele overeenkomst maar verkeerde labels, wat leidt tot fouten.

5. Betekenis en Conclusie

Dit paper onderstreept dat labelinformatie een cruciale bijrol speelt bij prompt-retrieval voor visuele in-context learning. Het negeren van labels leidt tot suboptimale selecties en slechtere prestaties.

LaPR biedt een solide fundament voor toekomstig onderzoek door te tonen dat het integreren van labels in de retrieval-pipeline, zelfs wanneer het query-label onbekend is (via MoE en routering), leidt tot aanzienlijke verbeteringen in nauwkeurigheid en generalisatie. Het bewijst dat "Love Me, Love My Label" (Hou van mij, hou van mijn label) een effectief principe is voor het bouwen van robuuste VICL-systemen.