KIRA: Knowledge-Intensive Image Retrieval and Reasoning Architecture for Specialized Visual Domains

Titel en Doel

KIRA (Knowledge-Intensive Image Retrieval and Reasoning Architecture) is een unificerend vijf-staps framework dat is ontworpen om de uitdagingen van Retrieval-Augmented Generation (RAG) in gespecialiseerde visuele domeinen aan te pakken. Waar bestaande RAG-systemen voornamelijk op tekst zijn gericht, probeert KIRA de kloof te overbruggen tussen beeldvragen en kennisbanken die vaak zwaar zijn op tekst, terwijl het tegelijkertijd multi-hop redenering en hallucinatie-verificatie mogelijk maakt.

Het Probleem

De uitbreiding van RAG naar visuele domeinen (zoals medische beeldvorming, circuitschetsen en satellietbeelden) wordt gehinderd door tien kernproblemen, die in vier categorieën zijn onderverdeeld:

1. Kern-technisch: Kwaliteit van beeldretrieval, kruismodale uitlijning (beeld vs. tekst) en de constructie van kennisbanken.
2. Redenering & Integratie: Redeneren dieper dan simpele retrieval en het uitvoeren van multi-hop visuele redenering.
3. Domein-specifiek: Omgaan met zeldzame en fijnkorrelige visuele concepten (bijv. vroege longontsteking) en tijdsreeksen/multiveiw-beelden.
4. Evaluatie & Vertrouwen: Het ontbreken van geschikte benchmarks, de uitlegbaarheid van bewijs en het risico op hallucinaties.

Bestaande systemen adresseren deze problemen niet in één unified framework.

Methodologie: Het KIRA Framework

KIRA bestaat uit vijf opeenvolgende stadia, elk ontworpen om specifieke problemen op te lossen:

Stadium 1: Inname van de Kennisbank (Knowledge Base Ingestion)

• Hiërarchische Semantische Chunking: In plaats van afbeeldingen als één geheel te indexeren, worden ze opgesplitst in drie granulariteitsniveaus: document (hele afbeelding), regio (semantisch belangrijke gebieden) en patch (vast raster).
• Regio-detectie: Gebruik van DINO (self-supervised Vision Transformer) om semantisch betekenisvolle gebieden te detecteren zonder handmatige annotaties (bijv. longvelden in röntgenfoto's).
• Domein-Adaptieve Encoder: Een contrastieve fine-tuning van CLIP-features met een triplet-loss en few-shot adaptatie (ProtoNet-stijl) om fijne verschillen in gespecialiseerde domeinen te onderscheiden.
• Beschrijvingsgeneratie: Elke chunk wordt getextualiseerd met BLIP-2 om een secundaire tekst-index te creëren.

Stadium 2: Kruismodale Query-verwerking (Cross-Modal Query Processing)

• Dual-Path Retrieval: Combineert twee paden:
  • Pad A (Visueel): Cosine-similariteit tussen query-afbeelding en opgeslagen chunks.
  • Pad B (Tekst): Semantische similariteit tussen query-tekst (of uitgebreide hypotheses) en de gegenereerde beschrijvingen.
  • De resultaten worden gefuseerd via reciprocal rank fusion.
• Chain-of-Thought (CoT) Query Expansion: Een visuele query wordt uitgebreid met tekstuele hypotheses via CoT-prompting (met BLIP-2) en scoring tegen een domein-specifieke conceptbank, om de ambiguïteit van visuele queries op te lossen.

Stadium 3: Multi-hop Retrieval Engine

• Chain-of-Retrieval: Een iteratief proces (retrieve-reason-retrieve). Na de eerste zoektocht wordt een "residual query" berekend door het centroid van de gevonden embeddings af te trekken van de originele query. Dit verschaft de zoekopdracht naar informatie die nog niet is gedekt.
• Tijds- en Multiview-handlers: Herkent en koppelt gerelateerde afbeeldingen (bijv. follow-up scans of verschillende projecties) als compound-documenten om context te behouden.

Stadium 4: Grounded Reasoning Module

• Evidence-Conditioned Generation: De generator maakt een gestructureerd "evidence pack" en wordt verplicht om elke claim in het antwoord te koppelen aan specifieke bewijsstukken (bijv. [Evidence 1]).
• Hallucinatieverificatie: Een post-hoc verifier controleert elke feitelijke claim tegen het aangehaalde bewijs en berekent een "grounding score". Claims met een lage score worden gemarkeerd als risico.

Stadium 5: Evaluatie & Benchmark

• DOMAINVQA-R: Een nieuwe benchmark die RAG-evaluatie uitbreidt naar drie assen: Retrieval Precision, Reasoning Faithfulness en Domain Correctness.
• Retrieval Rationale Card: Voor elk antwoord wordt een kaart gegenereerd die transparantie biedt over welke beelden zijn opgehaald, waarom, en hoe ze het antwoord hebben beïnvloed.

Experimenten en Resultaten

Het systeem is getest op vier gespecialiseerde domeinen: medische röntgenfoto's, circuitschetsen, satellietbeelden en histopathologie. De evaluatie omvatte een progressieve ablatiestudie met zes varianten.

Belangrijkste bevindingen:

1. Retrieval Precisie: De volledige KIRA-architectuur bereikte een gemiddelde retrieval precisie van 0.97.
   • Observatie: Het toevoegen van tekst-paden (Dual Path) en query-expansie verlaagde de precisie tijdelijk (naar ~0.65) door een diversity-precision trade-off.
   • Oplossing: De Chain-of-Retrieval (multi-hop) herstelde de precisie volledig terug naar 0.97 door de zoekopdracht te verfijnen.
2. Grounding & Faithfulness: Alle varianten behaalden een perfecte Grounding Score (1.0) en Reasoning Faithfulness (1.0), wat aantoont dat hallucinaties effectief werden voorkomen.
3. Domein Correctheid: De gemiddelde domein-correctheid was 0.707. De daling ten opzichte van de baseline (0.961) bij het inschakelen van grounded reasoning werd toegeschreven aan de voorzichtige, bewijs-gebaseerde formulering van het model, wat leidt tot een lagere F1-score bij tekstuele vergelijking, hoewel de inhoud medisch/technisch correct was.
4. Domein-Adaptatie: De few-shot adaptatie van de encoders bereikte een Recall@1 van ≥0.995 op de trainingsset en 1.0 op de validatie, wat de effectiviteit van de aanpassing aan gespecialiseerde domeinen bevestigt.

Kernbijdragen

1. Unified Architectuur: Het eerste systeem dat tien kernproblemen van visuele RAG in één framework adresseert.
2. Nieuwe Componenten: Innovaties zoals DINO-gebaseerde hiërarchische chunking, few-shot domein-adapteren, CoT-query-expansie en Chain-of-Retrieval.
3. DOMAINVQA-R Benchmark: Een nieuwe evaluatiestandaard die verder gaat dan simpele recall-metrics.
4. Transparantie: De introductie van de "Retrieval Rationale Card" voor auditabele redeneerprocessen.

Betekenis en Conclusie

KIRA demonstreert dat het mogelijk is om een robuust, betrouwbaar en uitlegbaar systeem te bouwen voor kennisintensieve visuele taken in kritieke domeinen (zoals de gezondheidszorg). Het paper benadrukt dat het toevoegen van componenten niet altijd direct alle metrics verbetert (bijv. de trade-off tussen precisie en diversiteit), maar dat een zorgvuldig ontworpen architectuur (zoals multi-hop retrieval) deze compromissen kan oplossen.

Hoewel de huidige evaluatie synthetische data gebruikt, biedt KIRA een solide fundament voor toekomstige toepassingen in real-world scenario's waar uitlegbaarheid en het vermijden van hallucinaties cruciaal zijn. De code zal na acceptatie openbaar worden gemaakt.