🤖 machine learning

PromptHub: Enhancing Multi-Prompt Visual In-Context Learning with Locality-Aware Fusion, Concentration and Alignment

Dit paper introduceert PromptHub, een framework dat de prestaties van visuele in-context learning verbetert door multi-prompten te fuseren met behulp van lokaal-bewuste mechanismen, concentratie en uitlijning, waardoor de beperkingen van eerdere patch-gebaseerde benaderingen worden overwonnen.

Oorspronkelijke auteurs: Tianci Luo, Jinpeng Wang, Shiyu Qin, Niu Lian, Yan Feng, Bin Chen, Chun Yuan, Shu-Tao Xia

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tianci Luo, Jinpeng Wang, Shiyu Qin, Niu Lian, Yan Feng, Bin Chen, Chun Yuan, Shu-Tao Xia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een nieuw schilderij moet maken, maar je hebt geen idee hoe je moet beginnen. Je kijkt dan naar een paar voorbeelden van andere kunstenaars om je te inspireren. Dit is wat computers doen bij "Visueel In-Context Leren" (VICL): ze kijken naar voorbeelden (prompts) om een taak te leren, zoals een object herkennen of een zwart-wit foto in kleur te zetten.

Tot nu toe hadden deze slimme computers een probleem: ze konden maar naar één voorbeeld kijken tegelijk. Als dat ene voorbeeld niet perfect was, faalde de computer.

Sommige onderzoekers probeerden dit op te lossen door meerdere voorbeelden te "plakken" en te mengen, maar dat werkte niet goed. Het was alsof je tien verschillende recepten in één pan gooit en hoopt dat het smaken als een gerecht. Het resultaat werd vaak rommelig en de computer vertrouwde het mengsel niet.

PromptHub is de nieuwe, slimme oplossing die in dit paper wordt voorgesteld. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Locale" Chef-kok (Locality-Aware Fusion)

Stel je voor dat je een grote salade maakt. De oude methode (CONDENSER) gooide alle ingrediënten (de voorbeelden) in één grote kom en roerde ze wild door elkaar. Hierdoor kwamen de aardappels in de buurt van de vis, wat niet lekker smaakt.

PromptHub doet het anders. Het kijkt naar elk stukje van je eigen plaatje (bijvoorbeeld een oog van een hond) en zoekt alleen naar de beste delen van de voorbeelden die daar precies bij passen.

De analogie: Het is alsof je voor het oog van de hond alleen naar de ogen van andere honden in de voorbeelden kijkt, en voor de neus alleen naar neuzen. Het houdt de "ruis" (de onnodige details) buiten beeld. Dit noemen ze lokale fusie. Het zorgt ervoor dat het mengsel logisch en schoon blijft.

2. De Drie Gouden Regels (De Leerdoelen)

Om ervoor te zorgen dat de computer het nieuwe mengsel echt gaat vertrouwen, heeft PromptHub drie regels (doelen) voor zichzelf bedacht:

Regel 1: De "Samenhang" (Semantische Integriteit)
De computer moet het mengsel zien als een natuurlijk geheel. Het is alsof je een collage maakt: de stukjes moeten op elkaar lijken en een logisch verhaal vertellen, niet als een puinhoop van losse onderdelen.
Regel 2: Het "Vertrouwen" (Utilisatie)
Soms denkt de computer: "Dit mengsel ziet er raar uit, ik ga maar mijn eigen idee gebruiken." PromptHub dwingt de computer om het mengsel te vertrouwen. Het zegt: "Kijk, dit mengsel is gemaakt om op jouw vraag te lijken, gebruik het!"
Regel 3: Het "Antwoord" (Label Predictie)
Uiteindelijk moet het werk goed zijn. De computer moet het juiste antwoord geven (bijvoorbeeld: "Dat is een hond"). Dit is de basiscontrole om te zien of het hele proces werkt.

3. De "Oefenmethode" (Data Augmentatie)

Tijdens het leren (training) doet PromptHub alsof er soms fouten zijn. Het vervangt soms een goed voorbeeld door een willekeurig slecht voorbeeld of een voorbeeld dat op de vraag lijkt.

De analogie: Het is alsof een sporter traint met een zware rugzak of op een hobbelig veld. Als hij dan op het echte veld (de test) komt, voelt hij zich lichter en presteert hij beter. Dit maakt PromptHub robuust: hij faalt niet als de voorbeelden niet perfect zijn.

Waarom is dit zo goed?

In de proeven (op taken zoals het vinden van objecten, segmenteren van beelden en kleuren) deed PromptHub het veel beter dan de vorige beste methoden.

Beter dan de rest: Het haalde hogere scores dan alle andere methoden, zelfs als er maar één voorbeeld was, maar vooral als er veel voorbeelden waren.
Veelzijdig: Het werkt goed, zelfs als je het op een heel andere taak probeert dan waarvoor het is getraind (bijvoorbeeld van het herkennen van katten naar het herkennen van auto's).
Minder gevoelig voor rotzooi: Als de voorbeelden niet perfect op de vraag aansluiten (bijvoorbeeld als ze een beetje verschuiven), blijft PromptHub rustig werken, terwijl de oude methoden in paniek raken.

Kortom: PromptHub is als een super-organiseerde chef-kok die niet zomaar alles door elkaar gooit, maar slim de beste ingrediënten selecteert, ze op de juiste plek plaatst, en de kok (de computer) overtuigt dat dit het perfecte recept is. Hierdoor worden de resultaten van de computer veel nauwkeuriger en betrouwbaarder.

Probleemstelling

Visuele In-Context Learning (VICL) probeert visuele taken te voltooien door pixel-demonstraties na te bootsen. Hoewel recente werken (zoals CONDENSER) hebben geprobeerd om de voordelen van meerdere demonstraties te combineren via "prompt fusion", blijken deze benaderingen beperkt te zijn:

Patch-gebaseerde fusie: Bestaande methoden gebruiken vaak een patch-voor-patch fusiestrategie. Dit leidt tot een inefficiënt gebruik van waardevolle contextuele cues en introduceert ruis aan de randen van patches.
Model-agnostische supervisie: De huidige supervisie is vaak onvoldoende om de kwaliteit van de samengevoegde prompts te waarborgen.
Discrepantie en wantrouwen: Er ontstaat vaak een discrepantie tussen de samengevoegde prompt en de query-paar. Hierdoor vertrouwt de backbone (het basismodel) de samengevoegde representatie niet en leunt het terug op zijn eigen inferentiële capaciteiten, wat de prestaties beperkt.

Het doel is om een framework te creëren dat meerdere prompts effectief integreert, de discrepanties minimaliseert en de backbone ertoe aanzet om volledig te vertrouwen op de gefuseerde representatie.

Methodologie: PromptHub

PromptHub introduceert een holistisch framework dat multi-prompting versterkt via lokale bewustwording (locality-awareness), concentratie en uitlijning. Het werkt op basis van een MAE-VQGAN backbone.

1. Locality-Aware Fusion (Lokale Bewuste Fusie)

In plaats van een globale of puur patch-gebaseerde fusie, gebruikt PromptHub een lokale prior die ruimtelijke afnemende gewichten toepast die uitstralen vanuit de huidige patch.

Mechanisme: Er wordt een waarschijnlijkheidsverdeling gebruikt (Gaussisch of Laplaciaans) om de invloed van naburige patches te regelen.
Voordeel: Dit behoudt een groot receptief veld (globaal inzicht) terwijl het de negatieve effecten van randruis (border noise) vermindert. Het zorgt voor een nauwkeurigere extractie van ruimtelijke kenmerken.
Implementatie: Een query-adaptieve cross-attention mechanisme gebruikt deze lokale prior om gewichten toe te kennen aan de kenmerken van de prompt-paren, resulterend in een gefuseerde exemplaar-representatie.

2. Drie Complementaire Leerdoelen (Learning Objectives)

Om het "fusie-gebruik-voorspelling" proces te optimaliseren, worden drie doelstellingen gecombineerd:

Label Prediction Loss ( $L_p$ ): De basis supervisie om de contextuele voorspellingscapaciteit van VICL te behouden. Dit zorgt ervoor dat het model de taak (bijv. segmentatie) correct uitvoert.
Semantic Integrity Loss ( $L_s$ ): Een uitlijningsdoelstelling die ervoor zorgt dat de continu tokens van de gefuseerde prompt (afgeleid van de exemplaren) semantisch dicht bij de discrete tokens van de query-prompt liggen. Dit verhoogt de kwaliteit van de fusie.
Utilization Loss ( $L_u$ ): Een cosine-相似heidsverlies dat de discrepantie verkleint tussen de query-paar en de gefuseerde prompt. Dit dwingt de backbone om de gefuseerde representatie te vertrouwen en te gebruiken voor imitatielearning, in plaats van eromheen te werken.

3. Data Augmentatie Strategie

Tijdens het trainen wordt een augmentatiestrategie toegepast om de robustheid te vergroten:

Vervanging met query-paren: Om de discrepantie te minimaliseren en $L_u$ te versterken.
Vervanging met willekeurige paren: Om ruis toe te voegen en de stabiliteit van het model te testen, zodat het robuust blijft zelfs als er geen hoogwaardige prompts beschikbaar zijn tijdens inferentie.

Belangrijkste Bijdragen

Locality-Enhanced Fusion Strategy: Een nieuwe strategie die een balans vindt tussen ruimtelijke localiteit en een groot receptief veld, waardoor effectieve informatie completer wordt geëxtraheerd dan bij patch-wise methoden.
Synergetische Leerdoelen: Een unieke combinatie van drie doelstellingen die samenwerken om de kwaliteit van de fusie, de concentratie van de prompt en de contextuele voorspelling te verbeteren.
Superieure Prestaties en Generalisatie: Het framework is getest op drie fundamentele visuele taken en toont superioriteit ten opzichte van state-of-the-art baselines, met name in out-of-distribution (OOD) settings en bij verschillende retrieval-scenario's.

Resultaten

PromptHub werd geëvalueerd op drie taken: foreground segmentation, single-object detection en image colorization.

Prestatieverbetering:
- In single-prompt scenario's overtrof PromptHub CONDENSER met 2,3% (segmentatie), 3,0% (detectie) en 5,1% (kleurering).
- In multi-prompt scenario's (K=16) waren de winsten respectievelijk 2,5%, 2,1% en 7,2%.
Transferability: Bij training op COCO-5i en testen op Pascal-5i (een domeinadaptatie-taak) overtrof PromptHub CONDENSER met 4,1% in multi-prompt settings, wat wijst op sterke overdraagbaarheid.
Robuustheid:
- Ruimtelijke misalignement: PromptHub is aanzienlijk robuuster tegen horizontale spiegelingen en positieverschuivingen dan CONDENSER (minder prestatieverlies).
- Retrievers: Het werkt effectief met verschillende retrieval-methoden (van willekeurig tot pixel-level), maar presteert het beste met pixel-level retrievers, wat de uitlijning met het lokale ontwerp bevestigt.
Visuele Kwaliteit: De gefuseerde prompts die door PromptHub worden gegenereerd, tonen veel gladdere texturen en hogere semantische overeenkomst met de query dan de ruisachtige, zwart-witte patronen van CONDENSER.

Betekenis en Impact

Dit werk vestigt een betrouwbaar lokaal bewust paradigma voor prompt-fusie, dat de beperkingen van eerdere patch-gebaseerde benaderingen overwint.

Paradigmaverschuiving: Het bewijst dat het expliciet modelleren van ruimtelijke relaties en het gebruik van complementaire leerdoelen essentieel zijn voor succesvolle multi-prompt VICL.
Toepasbaarheid: De methode is niet alleen effectiever, maar ook robuuster in realistische scenario's waar prompts niet perfect aligned zijn of waar data uit verschillende domeinen komt.
Interpreteerbaarheid: Door de visuele kwaliteit van de gefuseerde prompts te verbeteren, biedt PromptHub meer inzicht in hoe prompts worden geïntegreerd, wat een stap is naar meer betrouwbare en interpreteerbare visuele foundation modellen.

Kortom, PromptHub biedt een nieuwe, robuuste standaard voor het combineren van meerdere visuele prompts, wat leidt tot aanzienlijk betere prestaties in diverse visuele taken.