Context Sensitivity Improves Human-Machine Visual Alignment

Titel: Context Sensitivity Improves Human-Machine Visual Alignment

Conferentie: ICLR 2026 Workshop on Representational Alignment (Re-Align)

---

1. Het Probleem

Moderne machine learning-modellen (vooral visuele foundation models) vertegenwoordigen invoer (zoals afbeeldingen) als vaste punten in een hoog-dimensionale inbeddingsruimte (embedding space). Hoewel deze aanpak krachtig is voor generalisatie en downstream-taken, vertoont het fundamentele verschillen met menselijke informatieverwerking:

• Vaste vs. Adaptieve Representaties: Mensen passen hun perceptie dynamisch aan aan de context. Een object wordt niet geïsoleerd waargenomen, maar in relatie tot omringende objecten, doelen en eerdere ervaringen.
• De Kloof: Bestaande modellen missen deze contextgevoeligheid. Ze veronderstellen een "Platonische" een-op-een mapping tussen entiteit en representatie, wat leidt tot een slechtere alignement met menselijke oordelen in situaties waar context cruciaal is (bijv. bij het bepalen van gelijkenis of het kiezen van de "vreemde eend in de bijt").
• Gevolg: Omdat deze modellen steeds vaker worden gebruikt als "autoraters" (als proxy voor menselijke data), is er een dringende behoefte aan modellen die zich kunnen aanpassen aan veranderende contexten om menselijk gedrag beter te simuleren.

2. Methodologie

De auteurs stellen een methode voor om contextgevoelige gelijkenisberekening toe te passen op neurale netwerkinbeddingen. Het doel is het modelleren van een "triplet odd-one-out" taak, waarbij een contextafbeelding dient als referentiepunt.

A. Data:

• Gebruik van het ImageNet-HSJ dataset (Roads & Love, 2021).
• De data is herschikt van een "8-choose-2" taak naar een triplet-with-context formaat.
• Een trial bestaat uit een contextafbeelding (query) en een triplet van drie afbeeldingen. De taak is om te voorspellen welk item in het triplet het minst lijkt op de andere twee, gegeven de context.

B. Model Architectuur:
Het model bestaat uit drie hoofdfasen (zie Figuur 2 in het paper):

1. Feature Extractie: Een Foundation Model (FM) (bijv. ViT, SigLIP, DINOv2) extrahere inbeddingen voor de contextafbeelding ($c$) en de triplet-afbeeldingen ($x_i$). Er worden zowel originele als "mens-gealigneerde" (human-aligned) varianten van deze modellen gebruikt.
2. Context-Insensitive Transform (CIT): Een affiene transformatie ($Wx + b$) gevolgd door normalisatie wordt toegepast op de triplet-inbeddingen om de basisalignement met menselijke oordelen te verbeteren.
3. Context-Sensitive Similarity (CSS):
   • De inbedding van de contextafbeelding ($c$) wordt door een klein neurale netwerk (één volledig verbonden laag) gemapt naar een matrix $B_c$.
   • Hieruit wordt een context-afhankelijke, symmetrische positief-semidefiniete matrix $A_c = B_c^T B_c$ gegenereerd.
   • De gelijkenis tussen twee triplet-afbeeldingen $i$ en $j$, gegeven context $c$, wordt berekend als:
     $$s_{i,j|c} = \tilde{x}_i^T A_c \tilde{x}_j$$
   • Dit fungeert als een dynamische kernel die de inbeddingsruimte vervormt op basis van de context.
4. Decision Making: Het model kiest het "odd-one-out" item door de paar met de hoogste context-gevoelige gelijkenis te identificeren; het resterende item is het antwoord.

C. Training & Loss:

• Het model wordt getraind via maximum-likelihood schatting om menselijke keuzes te voorspellen.
• Er wordt een regularisatie toegepast om te voorkomen dat het model de oorspronkelijke representatieve structuur volledig vernietigt:
  • $\lambda_1 \|W - I\|^2$: Houdt de context-ongevoelige transformatie dicht bij de identiteit.
  • $\lambda_2 \|A_c - I\|^2$: Houdt de context-gevoelige gelijkenis dicht bij de standaard cosinus-gelijkenis (zodat context alleen modulatief werkt, niet fundamenteel vervormend zonder reden).

3. Belangrijkste Resultaten

Kwantitatieve Resultaten:

• Prestatieverbetering: Het context-gevoelige model (CSS) presteert significant beter dan zowel de basis FM als een model met alleen de context-ongevoelige transform (CIT).
• Omvang: Er is een verbetering van tot wel 15% in nauwkeurigheid voor de "odd-one-out" taak ten opzichte van een context-ongevoelig model.
• Robuustheid: Deze verbetering is consistent over verschillende foundation models (DINOv2, SigLIP, ViT) en zowel voor originele als mens-gealigneerde versies.
• Statistische Betrouwbaarheid: Gepaarde bootstrap-analyses bevestigen dat alle stapsgewijze verbeteringen statistisch significant zijn (95% betrouwbaarheidsintervallen sluiten nul uit).

Kwalitatieve Resultaten:

• Representational Similarity Matrices (RSM): De analyse toont aan dat de context-gevoelige model de gelijkenissen dynamisch herschikt. Bijvoorbeeld: in een context met een hert, wordt de gelijkenis tussen dieren (paard-en-wagen en hert) versterkt, terwijl de gelijkenis met voertuigen (kano) wordt verzwakt.
• PCA Visualisatie: In de context-gevoelige ruimte verschuift het beeld van de "paard-en-wagen" naar de cluster van dieren, wat overeenkomt met hoe mensen het object in die specifieke context interpreteren. Het context-ongevoelige model plaatst het correct in de voertuig-cluster, wat leidt tot een verkeerde "odd-one-out" keuze in deze context.

4. Bijdragen

1. Conceptuele Innovatie: Introductie van een psychologisch plausibele methode voor context-gevoelige modulatie van neurale netwerkinbeddingen, geïnspireerd door cognitieve theorieën (zoals Tversky's features of similarity).
2. Methodologische Vooruitgang: Een effectieve architectuur die dynamische feature herweging toestaat zonder de onderliggende representatieve structuur volledig te verliezen.
3. Empirisch Bewijs: Demonstratie dat cognitief geïnspireerde interventies de alignement tussen machine learning-modellen en menselijk gedrag aanzienlijk verbeteren, zelfs op state-of-the-art foundation models.
4. Inzicht in Representaties: Het paper toont aan dat menselijke perceptie niet statisch is, maar dat de "belangrijkheid" van kenmerken (feature salience) verschuift afhankelijk van de omgeving.

5. Betekenis en Conclusie

Dit werk onderstreept dat voor een echte "human-machine alignment" modellen niet alleen moeten leren wat objecten zijn, maar ook hoe ze worden waargenomen in een specifieke context.

• Toepassing: De methode is cruciaal voor het verbeteren van autoraters en systemen die menselijke voorkeuren moeten voorspellen.
• Toekomst: De auteurs wijzen op beperkingen, zoals het niet meenemen van sequentiële afhankelijkheden (recente ervaringen) of interne doelen, en suggereren dat toekomstig werk zich moet uitbreiden naar vision-language modellen en asymmetrische vergelijkingen.

Samenvattend bewijst dit paper dat het integreren van contextgevoeligheid in visuele representaties een essentiële stap is om AI-systemen dichter bij de flexibele en adaptieve aard van menselijke cognitie te brengen.