Technische Samenvatting: CANVAS – Sheaf-Informed Contrastive Learning voor Multi-Relationele Representaties

Probleemstelling

Huidige Vision-Language Models (VLMs), zoals CLIP, leren een enkele gedeelde embedding-ruimte die een homogene uitlijning tussen afbeeldingen en tekst afdwingt. Deze aanpak gaat uit van een vaste, enkelvoudige relatie tussen visuele en tekstuele modaliteiten. Echter, in het domein van de kunstgeschiedenis ondersteunt één enkel kunstwerk meerdere, onderscheidende en niet-uitwisselbare interpretaties (bijv. historische context, stilistische interpretatie, conceptuele analyse). Standaard VLMs laten deze rijkdom samenvallen in één enkele vector, waardoor de multi-relationele structuur die essentieel is voor genuanceerde kunsthistorische redenering verloren gaat.

Bestaande graafgebaseerde benaderingen proberen dergelijke aspecten te vangen, maar lijden onder aanzienlijke beperkingen: ze werken doorgaans in een transductieve setting, waarbij de volledige graafstructuur (inclusief de rand-indices van de testset-annotaties) beschikbaar moet zijn tijdens de inferentie. Dit verhindert hun toepassing op ongeziene entiteiten in inductieve scenario's, een veelvoorkomende vereiste bij echte implementaties.

Methodologie: CANVAS

De auteurs stellen CANVAS voor (Contrastive Art-aware Network for Vision-Language Alignment with Sheaves), een framework dat relationele representaties leert zonder afhankelijk te zijn van externe graafconnectiviteit tijdens de inferentie. De methode is geïnspireerd door de cellulaire sheaf-theorie, die toestaat dat data consistent wordt gerepresenteerd in verschillende lokale kaders.

Kerncomponenten

1. Bipartiete Graafconstructie:
   De dataset wordt gemodelleerd als een bipartiete graaf $G = (U \cup V, E)$, waarbij $U$ beeldknooppunten (nodes) vertegenwoordigt, $V$ tekstknooppunten, en randen $E$ getypeerde semantische relaties coderen (bijv. "stijl", "auteur", "historische context").

2. Sheaf-Informed Relation-Conditioned Laag:
   In plaats van een enkele globale embedding te leren, projecteert CANVAS knooprepresentaties naar relatie-specifieke subruimtes met behulp van restrictiemappen.

   • Initialisatie: Knooppunten (afbeeldingen en teksten) en randkenmerken (relatiebeschrijvingen) worden geïnitialiseerd met behulp van een voorgetraind CLIP-model.
   • Modulatie: Voor elke rand $e=(u,v)$ met een relatie-embedding $h_{r_e}$ worden de knoop-embeddings geconcateneerd met de relatie-embedding. Een leerbaar "Sheaf Learner" (een drie-laags MLP) verwerkt deze concatenatie om feature-wise schaalparameters ($\gamma_e$) en verschuivingsparameters ($\beta_e$) te produceren.
   • Transformatie: Deze parameters moduleren de knoop-embeddings via Feature-wise Linear Modulation (FiLM): $\tilde{h}_{e,u} = \gamma_e \otimes h_u + \beta_e$. Dit vervormt de embedding-ruimte effectief om af te stemmen op de specifieke relatietype, waardoor dezelfde afbeelding verschillende representaties kan hebben afhankelijk van de context (bijv. stilistisch versus historisch).

3. Graafgebaseerde Zachte Gelijkenis & Contrastieve Verliesfunctie:
   Om hogere-orde afhankelijkheden tussen relaties te vangen, construeert de methode een lijn-graaf $G' = L(G)$, waarbij de knopen de oorspronkelijke randen (beeld-tekst paren) vertegenwoordigen.

   • Heat Kernel Diffusie: Een zachte structurele prior wordt berekend met behulp van de heat kernel op de Laplacian van de lijn-graaf. Dit creëert een zachte doelmatrix $\tilde{W}$ waarbij paren die gemeenschappelijke items delen (dezelfde afbeelding of dezelfde tekst) een hogere affiniteit krijgen toegewezen.
   • Verliesfunctie: De trainingsdoelstelling combineert de standaard symmetrische InfoNCE loss (CLIP loss) met een Graph-regularized KL loss. De KL loss minimaliseert de divergentie tussen de voorspelde gelijkenis-matrix van het model en de zachte doelmatrix afgeleid van de graafstructuur. Dit verzacht de straf voor "negatieve" paren die semantisch dichtbij liggen vanwege de gedeelde graaftopologie, wat het probleem van 'hard negatives' in standaard contrastief leren aanpakt.

4. Inductieve Inferentie:
   In tegenstelling tot transductieve GNN's, verwerkt CANVAS elke beeld-tekst rand onafhankelijk tijdens de training. Tijdens de inferentie heeft het model alleen de afbeelding, de tekst en optioneel het relatietype nodig. Het heeft geen toegang nodig tot de volledige graaf of de verbindingen van ongeziene entiteiten, wat het volledig inductief maakt.

Belangrijkste Bijdragen

• Theoretisch Framework: Introduceert de toepassing van cellulaire sheaf-theorie op vision-language alignment, waarbij relaties worden behandeld als "first-class citizens" die de transformatie van embeddings definiëren in plaats van slechts de embeddings zelf.
• Inductief Multi-Relationeel Leren: Stelt een methode voor die meerdere relationele subruimtes leert zonder de volledige graafstructuur tijdens de testtijd nodig te hebben, waarmee de transductieve beperkingen van eerdere graafgebaseerde kunstanalisemethoden worden overwonnen.
• Nieuwe Benchmarks: Introduceert drie nieuwe datasets voor multi-relationeel begrip van kunst:
  • HertzianaDP: Een collectie schilderijen en tekeningen uit de Bibliotheca Hertziana (voorheen niet beschikbaar), die dient als een strikte test voor generalisatie naar ongeziene data.
  • WikiArt+: Een uitbreiding van WikiArt, verrijkt met Wikipedia-gebaseerde verklaringen.
  • SemArt+: Een verfijnde versie van de SemArt dataset met per zin geannoteerde gegevens.
• Empirische Validatie: Toont aan dat multi-relationele uitlijning praktisch essentieel is, waarbij het de baselines overtreft in zowel retrieval- als classificatietaken.

Experimentele Resultaten

De auteurs evalueerden CANVAS op de drie geïntroduceerde datasets tegenover baselines inclusief CLIP, SigLIP, ArtSAGENet, ColPali en andere relatie-bewuste modellen.

• Cross-modale Retrieval: CANVAS presteert consequent beter dan baselines op het gebied van Image-to-Text (I2T) retrieval over alle datasets. Met name op HertzianaDP (die niet aanwezig was in de pretraining-data van CLIP), behaalde CANVAS een I2T Recall@10 van 0.514, wat aanzienlijk hoger is dan de gefinetunede CLIP-baseline (0.084). In Text-to-Image (T2I) retrieval behaalde CANVAS eveneens de beste prestaties op HertzianaDP en SemArt+.
• Relatie-bewuste Classificatie: CANVAS behaalde de beste of op één na beste nauwkeurigheid over bijna alle classificatietaken (bijv. Kunstenaar, Periode, Stijl, Genre). Cruciaal is dat het consistentie behield waar andere baselines faalden; het presteerde bijvoorbeeld aanzienlijk beter dan single-embedding methoden op complexe attributen zoals "Stijl" en "Periode".
• Ablatie-studies: Experimenten bevestigden dat zowel de InfoNCE als de KL loss noodzakelijk zijn voor optimale prestaties. Het verwijderen van de relatie-geconditioneerde modulatie (de sheaf-laag) veroorzaakte een drastische daling in prestaties, wat de noodzaak van relatie-specifieke subruimtes valideert.
• Kwalitatieve Analyse: Visualisaties (t-SNE) toonden aan dat CANVAS kunstwerken organiseert in onderscheidende, complementaire buurten op basis van het relatietype (bijv. temporele buren voor "datum"-queries versus stilistische buren voor "stijl"-queries), wat bevestigt dat het model onderscheidende kunsthistorische dimensies leert.

Betekenis en Claims

Het artikel stelt dat multi-relationele uitlijning niet alleen theoretisch gemotiveerd is, maar ook praktisch essentieel is voor domeinen zoals de kunstgeschiedenis, waar één enkel beeld meerdere geldige interpretaties ondersteunt. Door verder te gaan dan een enkele homogene embedding-ruimte, legt CANVAS de genuanceerde taal van stijl, intentie en context vast.

De auteurs benadrukken dat hun aanpak domein-agnostisch is. Hoewel gevalideerd op kunst, is het framework geschikt voor elke setting waar afbeeldingen en teksten heterogene semantische relaties delen, zoals medische beeldvorming of cultureel erfgoed. Het werk vestigt dat relatie-bewust leren, geïmplementeerd via sheaf-informed contrastive learning, een robuuste, inductieve oplossing biedt voor complexe multimodale begripstaken.