Multimodal Cultural Heritage Knowledge Graph Extension with Language and Vision Models
Dit artikel introduceert WJoconde, een multimodaal kennisgraph voor Frans cultureel erfgoed, en stelt een nieuw raamwerk voor dat gebruikmaakt van Large Language Models en Vision-Language Models om dergelijke graphs automatisch met hoge betrouwbaarheid uit te breiden via een gespecialiseerde validatiepijplijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek hebt van Franse kunst en geschiedenis. Op dit moment is deze bibliotheek georganiseerd als een gigantisch spreadsheet: het lijst schilderijen, sculpturen en artefacten op, en het vertelt je wie ze maakte, wanneer, en waar ze worden bewaard. Dit is wat de auteurs een Kennisgrafiek noemen. Het is een gestructureerde kaart van feiten.
Echter, dit spreadsheet heeft twee grote problemen:
- Het is onvolledig: Het mist enorme stukken informatie omdat de echte wereld rommelig en complex is.
- Het is saai: Het heeft alleen tekst. Het "ziet" de afbeeldingen van de kunst niet, zelfs al staan de afbeeldingen er direct bij.
De auteurs van dit paper wilden dit oplossen. Ze bouwden een nieuwe, superkrachtige versie van deze bibliotheek genaamd WJoconde, en ze bedachten een slim robotteam om de ontbrekende gaten op te vullen.
Hier is hoe ze dit deden, eenvoudig uitgelegd:
1. De Nieuwe Bibliotheek: WJoconde
Stel je de originele Franse museumdatabase (Joconde) voor als een stoffig archief. De auteurs namen de beste delen van dit archief en verbonden ze met Wikidata (een gigantische, gratis online encyclopedie van feiten).
Ze creëerden een nieuwe versie genaamd WJoconde. Wat maakt het speciaal?
- Het is Multimodaal: Stel je een bibliotheekkaart voor die niet alleen een beschrijving van een schilderij bevat, maar je ook het schilderij laat zien. WJoconde koppelt de tekstbeschrijving direct aan de daadwerkelijke afbeelding van het kunstwerk.
- Het is een Benchmark: Ze maakten deze data schoon en maakten drie verschillende versies ervan (een ruwe, een geschoonde, en een met zowel tekst als afbeeldingen) zodat andere wetenschappers het kunnen gebruiken om hun eigen AI-tools te testen. Het is alsof je iedereen een gestandaardiseerd "examen" geeft om te zien wie de beste kennisgrafiek bouwt.
2. Het Probleem: De "Gesloten Wereld" versus de "Open Wereld"
De meeste AI-systemen die proberen ontbrekende feiten in te vullen, werken als een meerkeuzetoets. Ze kijken naar de bestaande lijst met antwoorden en raden welk antwoord ontbreekt.
- Het Probleem: Als het antwoord niet op de lijst staat, zegt de AI: "Ik weet het niet."
- De Realiteit: In de kunstgeschiedenis kan het "juiste antwoord" iets zijn dat nog nooit door iemand is opgeschreven. De AI moet in staat zijn om nieuwe feiten te bedenken, niet alleen te kiezen uit een menu. Dit heet de Open Wereld Aanneming.
3. De Oplossing: Het Robot-Detectiveteam
Om dit op te lossen, bouwden de auteurs een pijplijn (een workflow) met twee soorten super slimme AI-robots:
- De Lezer (LLM): Een Large Language Model (zoals een super slimme tekstlezer) die de beschrijvingen van de kunst leest.
- De Kijker (VLM): Een Vision-Language Model (een robot die afbeeldingen kan "zien" en begrijpen) die naar de schilderijen kijkt.
Hoe het team samenwerkt:
- De Opdracht: Het systeem neemt een schilderij en vraagt: "Wat gebeurt er in deze afbeelding?"
- De Gissing: De Lezer kijkt naar de tekst, en de Kijker kijkt naar de afbeelding. Ze schreeuwen allebei hun gissingen (bijvoorbeeld: "Het toont een paard!" of "Het toont een gevecht!").
- De Dubbelcontrole (De Magische Stap): Dit is het belangrijkste onderdeel. Omdat AI-robots soms "hallucineren" (dingen verzinnen), bouwden de auteurs een validatiepijplijn.
- Ze controleren of de gissing van de Lezer overeenkomt met de gissing van de Kijker.
- Ze controleren of de gissing echt een nieuw feit is of gewoon een synoniem voor iets dat ze al weten (bijvoorbeeld: zorgen dat ze geen "Gordijnen" toevoegen als "Gordijn" al in de database staat).
- Ze vragen de Kijker zelfs om nog eens naar de afbeelding te kijken om te bevestigen: "Ja, ik zie absoluut een paard in deze afbeelding."
4. De Resultaten: Een Grotere, Betere Kaart
De resultaten waren indrukwekkend. Door dit robotteam te gebruiken:
- Voegden ze succesvol 61% meer feiten toe aan de database.
- Voegden ze duizenden nieuwe details toe, zoals specifieke acties (steekspelen), objecten (zwaarden) en scènes (stadsgezichten) die eerder ontbraken.
- Kwaliteitscontrole: Toen mensen het werk controleerden, bleek dat de robots 92% van de tijd correct waren.
De Conclusie
De auteurs bouwden niet alleen een grotere database; ze bouwden een systeem dat naar een schilderij en zijn beschrijving kan kijken, het verhaal begrijpt, en nieuwe, accurate feiten toevoegt aan een digitale kaart zonder dat een mens alles hoeft in te typen.
Ze bewezen dat door tekstlezende AI en afbeeldingziende AI te combineren, en hen vervolgens elkaars werk te laten controleren, we onze kennis van cultureel erfgoed op een manier kunnen uitbreiden die zowel snel als betrouwbaar is. Ze maakten ook al hun code en data gratis beschikbaar voor iedereen, zodat andere onderzoekers kunnen proberen het nog beter te doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.