Structure-aware Contrastive Learning for Diagram Understanding of Multimodal Models

Deze paper introduceert een nieuwe trainingsparadigma met structure-bewuste contrastieve leer en gespecialiseerde verliesfuncties om multimodale modellen beter te laten begrijpen diagrammen, wat aanzienlijke verbeteringen oplevert vergeleken met standaard CLIP-methoden op taken zoals afbeelding-tekst matching en visuele vraagbeantwoording.

De kern

Stel je voor dat je een zeer slimme, maar nog jonge kunstenaar hebt die alle foto's ter wereld kan bekijken. Deze kunstenaar, die we CLIP noemen, is fantastisch in het begrijpen van natuurlijke dingen. Als je hem een foto van een hond toont en zegt "dit is een hond", dan knikt hij en zegt: "Ja, dat klopt!" Hij begrijpt de vacht, de oren en de sfeer.

Maar als je deze kunstenaar nu een stroomschema (zoals je die in een handleiding ziet) laat zien, raakt hij in de war. Waarom? Omdat een stroomschema niet bestaat uit vacht en poten, maar uit pijlen, blokken en logische regels. Het is als een recept dat je moet lezen, niet een foto die je moet herkennen. De huidige kunstenaar kijkt naar de kleuren en vormen, maar mist de betekenis van de pijlen die zeggen: "Eerst doe je dit, dan dat."

Dit artikel van Hiroshi Sasaki is een handleiding om deze kunstenaar te trainen zodat hij eindelijk diagrammen begrijpt.

Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Het probleem: De kunstenaar leest niet tussen de regels

Normaal gesproken leert een kunstenaar door duizenden foto's te vergelijken met beschrijvingen. Maar voor diagrammen werkt dat niet goed. Als je een stroomschema laat zien met een pijl die van A naar B gaat, en een ander schema waar die pijl van B naar A gaat, ziet de kunstenaar ze als "bijna hetzelfde". Hij mist het cruciale verschil: de richting en de volgorde.

2. De oplossing: "Hard" trainen met een speciale methode

De auteur bedacht een nieuwe manier van trainen die we Structure-aware Contrastive Learning noemen. Laten we dit uitleggen met een metafoor:

Stel je voor dat je de kunstenaar wilt leren het verschil zien tussen twee bijna identieke puzzels.

• Normale training: Je laat hem een puzzel van een kat zien en zegt "dit is een kat". Dan laat je hem een hond zien en zegt "dit is geen kat". Dat is makkelijk.
• De nieuwe training (Hard Samples): De auteur maakt speciaal gemaakte "verwarrende" puzzels.
  • De "Hard Negatief" (De valstrik): Hij neemt een stroomschema en draait één pijl om, of verwisselt twee tekstblokjes. Voor de kunstenaar ziet het er bijna hetzelfde uit, maar de betekenis is totaal anders. Dit dwingt de kunstenaar om heel goed naar de details te kijken.
  • De "Hard Positief" (De spiegel): Hij neemt een stroomschema en draait het helemaal ondersteboven (van boven naar beneden, wordt van beneden naar boven). De inhoud is exact hetzelfde, maar het ziet er anders uit. Dit leert de kunstenaar: "Het maakt niet uit hoe het eruitziet, de boodschap is wat telt."

3. Twee speciale regels (De Loss Functies)

Om de kunstenaar echt slim te maken, gebruiken ze twee nieuwe regels in zijn training:

• Regel 1: De "Structuur-Regel" (Structure-aware Contrastive Loss)
  Deze regel zegt: "Houd de juiste antwoorden dicht bij elkaar, en duw de verkeerde antwoorden (de verwarrende puzzels) ver weg." Het zorgt ervoor dat de kunstenaar leert dat een pijl van A naar B fundamenteel anders is dan een pijl van B naar A, zelfs als de kleuren hetzelfde zijn.

• Regel 2: De "Scheidings-Regel" (Distinct Factor Orthogonal Loss)
  Dit is het slimste stukje. Stel, de kunstenaar ziet een foutief schema. Het bevat nog steeds de woorden "Start" en "Einde". Hij mag die woorden niet vergeten! Maar hij moet wel leren dat de volgorde verkeerd is.
  Deze regel zorgt ervoor dat de kunstenaar de gemeenschappelijke dingen (de woorden) en de verschillende dingen (de volgorde/pijlen) uit elkaar haalt. Het is alsof je zegt: "Onthoud dat het woord 'Start' er is, maar onthoud ook dat de pijl in de verkeerde richting wijst." Hij leert zo om niet in de val te trappen van de verwarrende voorbeelden.

4. Het resultaat: Een meester in diagrammen

De auteurs hebben deze methode getest op een dataset met stroomschema's.

• Vroeger: De kunstenaar kon een stroomschema en zijn beschrijving maar matig aan elkaar koppelen.
• Nu: Na deze speciale training is de kunstenaar veel beter geworden. Hij kan niet alleen het juiste schema bij de juiste tekst vinden, maar hij kan ook vragen beantwoorden over de logica van het schema (bijvoorbeeld: "Wat gebeurt er als de data niet versleuteld is?").

Samenvatting in één zin

Deze paper leert een AI hoe ze niet alleen naar de kleuren van een tekening moet kijken, maar vooral naar de pijlen en regels, door haar te trainen met speciaal gemaakte, verwarrende voorbeelden die haar dwingen om de onderliggende logica te doorgronden in plaats van alleen de oppervlakte te zien.

Het is alsof je iemand leert autorijden niet alleen door op een rechte weg te oefenen, maar door hem te laten rijden in een stad met veel verkeersborden, waar hij precies moet weten welke weg hij moet nemen en welke niet.

Technische samenvatting

Probleemstelling

Multimodale modellen, zoals CLIP (Contrastive Language-Image Pre-training), hebben indrukwekkende resultaten geboekt in het aligneren van visuele en linguïstische representaties voor natuurlijke afbeeldingen. Echter, deze modellen vertonen aanzienlijke beperkingen wanneer ze worden toegepast op gespecialiseerde visuele domeinen, zoals diagrammen (bijv. stroomdiagrammen, schema's).

• De uitdaging: Diagrammen bevatten gestructureerde, symbolische informatie die fundamenteel verschilt van natuurlijke beelden. Ze maken gebruik van specifieke relaties tussen visuele elementen (knooppunten, pijlen) en tekstuele annotaties.
• Huidige tekortkomingen: Bestaande modellen falen vaak in het begrijpen van deze structurele complexiteit en de subtiele verschillen tussen diagrammen. Ze zijn getraind op grote datasets van natuurlijke scènes (zoals LAION) en missen het vermogen om de nuance van diagraminterpretatie, technische vraagbeantwoording (VQA) en kennisextractie correct te verwerken.

Methodologie

De auteurs introduceren een nieuw trainingsparadigma, genaamd Structure-aware Contrastive Learning, specifiek ontworpen om het begrip van diagrammen in Vision-Language Models (VLMs) te verbeteren. De aanpak bestaat uit drie kernfasen:

1. Granulatie van Diagramdata

Omdat standaard CLIP-modellen beperkte invoergroottes hebben die onvoldoende zijn voor complexe diagrammen, wordt een granulatie-proces toegepast:

• Originele diagramcodes (bijv. Mermaid-code) worden ontbonden in kleinere, modulaire drietallen van aangrenzende knooppunten.
• Deze granulaire codes worden omgezet in raster- en vectorafbeeldingen en gepaard met synthetische tekstuele beschrijvingen (bijv. "Een pijl wijst van knooppunt A naar knooppunt B").

2. Synthese van Harde Samples (Hard Samples)

Om het model te trainen op subtiele verschillen, worden zowel "harde positieve" als "harde negatieve" samples gegenereerd:

• Harde Positieve Samples: Visueel verschillend maar semantisch identiek.
  • Beeld: De stroomrichting van het diagram wordt omgekeerd (van boven-naar-beneden naar beneden-naar-boven).
  • Tekst: De originele diagramcode wordt gebruikt als caption.
• Harde Negatieve Samples: Visueel vergelijkbaar maar semantisch verschillend.
  • Beeld: Toepassing van perturbaties zoals het willekeurig verwisselen van knooppuntlabels, het omdraaien van pijlrichtingen of het verwijderen van pijlen.
  • Tekst: Semantische vervormingen in de beschrijving (bijv. verwisselen van knooppuntlabels in de tekst).

3. Twee Gespecialiseerde Verliesfuncties

In plaats van alleen standaard contrastief leren, worden twee nieuwe loss-functies geïntegreerd:

• Structure-aware Contrastive Loss (SC Loss):

  • Deze loss uitbreidt het standaard NegCLIP/Triplet-CLIP concept.
  • Het minimaliseert de afstand tussen originele samples en hun harde positieve tegenhangers (intra- en inter-modaal).
  • Het maximaliseert de afstand tussen originele samples en harde negatieve samples.
  • Dit zorgt voor een coherente lokale structuur en betere kruis-modale uitlijning.

• Distinct Factor Orthogonal Loss (DO Loss):

  • Harde negatieve samples delen vaak nog steeds belangrijke semantische informatie met de originele samples (bijv. dezelfde knooppuntnamen). De SC loss zou deze gedeelde informatie kunnen verstoren.
  • De DO loss introduceert regularisatie om gedeelde informatie (shared factors) en onderscheidende informatie (distinct factors) te ontkoppelen.
  • Het modelleert dit door aan te nemen dat de gedeelde vector op het snijpunt van cirkels ligt (gebaseerd op de stelling van Thales) die worden gedefinieerd door de lijnsegmenten tussen de originele en negatieve vectoren.
  • Het doel is om de distincte vectoren orthogonaal te maken, zodat het model de unieke structurele verschillen leert onderscheiden zonder de gedeelde semantiek te verliezen.

De totale loss-functie is een gewogen som van de standaard CLIP loss, de SC loss en de DO loss.

Belangrijkste Bijdragen

1. Nieuwe Preprocessing-techniek: Een methode om harde positieve en negatieve beeld-caption paren te genereren binnen diagramdatasets, waarbij de nadruk ligt op subtiele maar kritieke verschillen die conventionele modellen vaak missen.
2. Innovatief Trainingsdoel: Een trainingsframework met twee specifieke loss-functies (SC en DO) die het model in staat stellen om onderscheid te maken tussen geldige diagramrelaties en hun tegenstrijdige tegenhangers, terwijl gedeelde representatieve factoren worden behouden.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat deze aanpak de diagrambegripscapaciteiten van CLIP aanzienlijk verbetert ten opzichte van bestaande methoden.

Resultaten

De methode werd getest op de FlowVQA dataset (stroomdiagrammen) in twee taken:

1. Image-Text Matching:

   • De voorgestelde methode (SaCLIP) behaalde de hoogste scores op Recall@1, Recall@5, Recall@10 en Mean Reciprocal Rank (MRR) voor zowel het zoeken van captions op basis van afbeeldingen als omgekeerd.
   • In tests met harde negatieve samples (waarbij het model moet kiezen tussen de juiste caption en zeer vergelijkbare verkeerde captions) presteerde SaCLIP aanzienlijk beter dan baselines zoals standaard CLIP, NegCLIP en TripletCLIP.
   • De DO loss bleek vooral waardevol in deze moeilijke scenario's om semantisch uitgelijnde afbeeldingen te vinden ondanks sterke distractors.

2. Visual Question Answering (VQA):

   • De getrainde vision encoder werd geïntegreerd in een LLaVA-v1.6-Mistral-7B model.
   • De resultaten (gemeten met BERTScore) toonden aan dat het finetunen van de vision encoder met de voorgestelde methode leidde tot een significante verbetering in precisie en F1-score vergeleken met andere finetuning-strategieën.
   • De toevoeging van de DO loss leverde een merkbare verbetering op in de VQA-prestaties, wat aantoont dat het model de semantische uitlijning voor diagrambegrip beter heeft verbeterd.

Betekenis en Toekomstperspectief

Dit paper benadrukt het belang van op maat gemaakte trainingsstrategieën voor gespecialiseerde taken. Het bewijst dat het simpelweg finetunen op diagramdata niet voldoende is; de structuur van de data en de aard van de negatieve samples zijn cruciaal.

• Impact: De methode biedt een robuustere basis voor multimodale systemen die complexe visuele en tekstuele informatie in diagrammen moeten verwerken, wat essentieel is voor toepassingen in technische documentatie, educatie en kennismanagement.
• Beperkingen: De methode is afhankelijk van de beschikbaarheid van diagramcodes (zoals Mermaid) om samples te synthetiseren. Voor datasets zonder codes zijn extra conversiestappen (zoals vectorisatie) nodig. Daarnaast gaat de DO loss uit van een Euclidische ruimte, wat niet altijd het geval is in embedding spaces.
• Toekomst: De auteurs plannen om het framework uit te breiden naar andere gestructureerde visuele data zoals grafieken, tabellen en diverse diagramtypes, en om de trainingsdoelen verder te verfijnen.