💻 computer science

Explainable Multimodal AI for Adaptive Calibration of Archaeological Sensing Workflows

Dit artikel presenteert een uitlegbaar multimodaal AI-framework dat diverse archeologische sensorische workflows monitort, beoordeelt en adaptief kalibreert door deterministische indicatoren en machine learning te integreren om acquisitie-degradatie te detecteren en corrigerende acties te sturen.

Oorspronkelijke auteurs: Nevio Dubbini, Daniel P. van Helden, Claudia Sciuto, Martina Naso, Arthur Leck, Clement Joubert, Heeli C. Schechter, Remy Chapoulie, Gabriele Gattiglia

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nevio Dubbini, Daniel P. van Helden, Claudia Sciuto, Martina Naso, Arthur Leck, Clement Joubert, Heeli C. Schechter, Remy Chapoulie, Gabriele Gattiglia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een tijdreiziger bent met een magische camera, maar in plaats van foto's van mensen te maken, maak je foto's van oude aardewerkstukken, stenen en gereedschappen die zijn achtergelaten door beschavingen die lang uit de geschiedenis zijn verdwenen. Om deze schatten echt te begrijpen, wil je niet alleen een mooie foto; je wilt weten waar ze van gemaakt zijn, hoe ze zijn gevormd en welke chemicaliën erin verborgen zitten. Wetenschappers gebruiken hiervoor speciale "superzintuigen": de één maakt 3D-beelden, de ander ziet onzichtbare kleuren, weer een ander zoekt naar verborgen metalen, en een andere luistert naar de minuscule trillingen van moleculen. Maar hier komt de adder onder het gras: deze superzintuigen zijn veeleisend. Als het licht verkeerd staat, de camera trilt of de machine moe is, dan is de data waardeloos. Het is alsoat proberen een perfecte taart te bakken terwijl je thermometer kapot is, je bloem nat is en je niet kunt vertellen of de taart daadwerkelijk klaar is of gewoon een trieste, platte pannenkoek.

Dit is waar het probleem lastig wordt. In de wereld van de archeologie is het controleren of een scan "goed" is meestal afhankelijk van een menselijke expert die naar de data staart en zegt: "Hm, dat ziet er vreemd uit." Maar er zijn zoveel artefacten om te scannen dat mensen niet elke scan kunnen controleren. De grote vraag is: kunnen we een computer leren om de kwaliteitsinspecteur te zijn? Kunnen we een systeem bouwen dat niet alleen de data opneemt, maar ook begrijpt waarom een scan slecht kan zijn en suggereert hoe een robot het opnieuw zou moeten proberen? Dit artikel duikt in die exacte uitdaging en stelt een slim, "uitlegbaar" AI-systeem voor dat fungeert als een superwaakzame bewaker voor deze eeuwenoude scansmissies.

De Digitale Detective voor Oude Schatten

De auteurs van dit artikel, een team van technologisch onderlegde archeologen en computerwetenschappers, hebben een nieuw soort "digitale detective" gebouwd. Hun doel is om een vangnet te creëren voor het geautomatiseerd scannen van archeologische artefacten. In plaats van een robot simpelweg een foto of een spectrum te laten maken en op het beste te hopen, fungeert dit systeem als een strikte poortwachter. Het controleert de data op het moment dat deze wordt verzameld om te zien of deze betrouwbaar genoeg is voor echt wetenschappelijk onderzoek.

Beschouw het scanproces als een band die een concert speelt. Je hebt een 3D-camera (de drummer), een hyperspectrale camera (de gitarist), een röntgenapparaat (de bassist) en een Raman-spectrometer (de zanger). Elk instrument moet perfect gestemd zijn. Als de drummer uit de maat loopt, klinkt het hele nummer vals. In het verleden merkte je misschien pas dat de drummer een fout maakte als het concert voorbij was en de opname verpest was. Dit nieuwe framework is als een dirigent die naar elk instrument luistert terwijl ze spelen. Als de gitarist een beetje vals speelt, zegt de dirigent niet alleen "stop"; hij geeft een gedetailleerde opmerking zoals: "Gitarist, je stempenop is bijgesteld nodig," zodat de muzikant het kan herstellen vóór het volgende nummer.

Hoe het Systeem Werkt: De Zesstappendans

Het artikel beschrijft een proces van zes stappen waar elke set data doorheen moet gaan. Het is een beetje als een hightech beveiligingscontrole op een vliegveld, maar in plaats van te controleren op messen, wordt er gecontroleerd op "slechte data".

De Referentiecheck: Voordat de robot begint met het scannen van de oude potten, maakt hij een paar "testopnames" van bekende, perfecte monsters. Dit stelt de basislijn vast, zoals een gitaar stemmen voor een optreden. Het systeem leert wat "perfect" betekent voor die specifieke sessie.
De Kenmerktranslatie: Elke scan wordt vervolgens vertaald naar een lange lijst met getallen (een "feature vector"). Deze getallen beschrijven alles: hoe bobbelig de 3D-vorm is, hoe fel de kleuren zijn, of of de chemische signalen ruis bevatten. Het verandelt een complex beeld of geluid in een eenvoudig rapportcijfer.
Het Detectivewerk: Het systeem kijkt naar deze getallen om te zien of er iets verdachts is. Is het ruisniveau te hoog? Zijn de vormen vreemd vervormd? Het gebruikt statistiek om patronen te ontdekken die niet passen bij de "perfecte" basislijn.
De Oordeelscall: Dit is waar de AI in beeld komt. Het gebruikt machine learning-modellen (slimme algoritmen getraind op eerdere voorbeelden) om te beslissen: Is dit een "Goede" scan of een "Slechte" scan? Ze testten verschillende soorten AI-hersenen voor verschillende sensoren. Voor de 3D-modellen werkte een simpel "Logistische Regressie"-brein het best. Voor de complexe chemische data (zoals röntgenfoto's en hyperspectrale beelden) hadden ze slimmere "boom-gebaseerde" hersenen zoals CatBoost en XGBoost nodig om de rommelige, niet-lineaire patronen aan te kunnen.
De "Waarom"-uitleg (XAI): Dit is het meest opwindende deel. Meestal is AI een "black box"—het zegt "Slecht", maar je weet niet waarom. Dit systeem gebruikt "Explainable AI" (XAI) om de doos te openen. Het vertelt de operator precies wat er misging. Flikkerde het licht? Was de camera te ver weg? Was het signaal te zwak? Het is als een leraar die niet alleen een "onvoldoende" geeft, maar precies de wiskundige som omcirkelt die je fout had en uitlegt hoe je het kunt oplossen.
De Feedbackloop: Ten slotte geeft het systeem instructies. Het kan zeggen: "Dit is prima, ga door," "Dit is oké, maar laten we de instellingen aanpassen en het opnieuw proberen," of "Dit is verschrikkelijk, stop en laat een mens ernaar kijken." Momenteel fungeert dit als een beslissingsondersteunend hulpmiddel voor de operator; het systeem identificeert het probleem en suggereert de oplossing, maar de daadwerkelijke automatische aanpassing van de robot is een doel voor toekomstige ontwikkeling.

De Resultaten: Een Gemengde Ervaring

Het team heeft dit systeem getest op echte data van het AUTOMATA-project, dat het scannen van oude keramiek en stenen omvat. Ze gebruikten niet alleen perfecte laboratoriumomstandigheden; ze gebruikten data die ook echte imperfecties bevatte, zoals menselijke fouten en veranderend licht.

De resultaten waren veelbelovend, maar niet perfect.

Voor 3D-modellen: Het systeem identificeerde goede versus slechte 3D-scans in 80% van de gevallen correct. De AI merkte op dat als de driehoeken in het 3D-mesh te dun waren of de randen gebroken waren, de scan waarschijnlijk een mislukking was.
Voor Hyperspectrale Imaging (HSI): Dit was een groot succes. Het systeem behaalde een nauwkeurigheid van 86% en een zeer sterke score van 0,92 (de AUC), wat betekent dat het uitstekend was in het opsporen van slechte spectrale data. Het kon zien of het licht inconsistent was of dat de sensor niet goed functioneerde.
Voor X-ray Fluorescence (XRF): Het systeem was erg goed in het opsporen van slechte röntgendata, met een nauwkeurigheid van 94%. Het leerde te letten op zaken zoals lage signaalwaarden of vreemde achtergrondruis die de chemische analyse nutteloos zouden maken.
Voor Raman-spectroscopie: Dit was de lastigste. Het systeem behaalde een nauwkeurigheid van 80%, maar had meer moeite om elke slechte scan te vangen (lagere recall). De hoofdoorzaak? Fluorescentie. Soms geven de oude materialen een gloed af die het signaal overstemt, en de AI vond het moeilijk om dit te onderscheiden van een simpele slechte scan.

Wat het Papier Wel (en Niet) Zegt

Het is belangrijk om te begrijpen wat dit artikel niet beweert. De auteurs benadrukken heel duidelijk dat dit systeem niet bedoeld is om de noodzaak voor menselijke experts of de noodzaak voor fysieke kalibratie van de machines te vervangen. De AI repareert de hardware van de machine niet; het vertelt je alleen of de binnenkomende data waardeloos is en suggereert hoe je het kunt verbeteren.

Het artikel verduidelijkt ook dat het systeem momenteel vooral een "beslissingsondersteunend" hulpmiddel is. Het suggereert wat te doen, maar is nog niet volledig getest in een gesloten lus waarbij de robot zichzelf automatisch corrigeert zonder dat een mens op een knop drukt. De auteurs geven aan dat de huidige resultaten voor de 3D-modellen "voorlopig" zijn, omdat ze nog niet over een enorme hoeveelheid data beschikten. Ze zijn hoopvol, maar weten dat ze meer data nodig hebben, vooral van robots die het scannen automatisch uitvoeren, om het systeem echt robuust en volledig geautomatiseerd te maken.

Het Grotere Plaatje

In eenvoudige woorden stelt dit artikel een manier voor om te voorkomen dat archeologen tijd verspillen aan het analyseren van waardeloze data. Door een slim, uitlegbaar AI-systeem te gebruiken, kunnen ze fouten vroegtijdig oppikken, de juiste instellingen identificeren om het te verbeteren, en ervoor zorgen dat elke scan van een oud artefact zo helder en nauwkeurig mogelijk is. Het is een stap naar een toekomst waarin robots de geschiedenis kunnen verkennen met dezelfde zorg en aandacht voor detail als een menselijke expert, maar dan zonder moe te worden of afgeleid te raken. Het systeem zegt niet alleen "dit is slecht"; het vertelt je waarom het slecht is en hoe je het goed maakt, waardoor een potentieel drama verandert in een leermoment voor de machine.

Technische Samenvatting: Uitlegbare Multimodale AI voor Adaptieve Kalibratie van Archeologische Sensoring-workflows

Probleemstelling

De grootschalige digitalisering van archeologische artefacten leunt steeds vaker op de integratie van diverse sensortechnologieën—specifiek fotogrammetrische 3D-reconstructie, hyperspectrale beeldvorming (HSI), röntgenfluorescentiespectroscopie (XRF) en Raman-spectroscopie—om geometrische, spectrale, elementaire en moleculaire gegevens vast te leggen. Hoewel deze modaliteiten interne kalibratieprocedures bieden, garanderen zij niet dat individuele acquisities analytisch betrouwbaar zijn of geschikt zijn voor downstream multimodale integratie.

Huidige uitdagingen omvatten:

Modaliteitsspecifieke Variabiliteit: De kwaliteit van een acquisitie is toepassingsspecifiek en afhankelijk van factoren zoals de keuze van de operator, geometrie, verlichting en omgevingsfactoren.
Gebrek aan Uniforme Standaarden: Er bestaat geen standaard voor het beoordelen van kwaliteit en foutpropagatie over heterogene modaliteiten heen. Bestaand onderzoek behandelt kwaliteitsbeoordeling en machine learning apart binnen individuele modaliteiten.
Handmatige Interventie: Degradatiepatronen (bijv. spectrale distorties, reconstructiefouten, detectorinstabiliteit) worden vaak handmatig geïdentificeerd, wat niet schaalbaar is voor grote geautomatiseerde workflows.
Interpretatiekloof: Hoewel machine learning (ML) potentieel toont voor spectrale classificatie, wordt de integratie ervan in archeologische workflows beperkt door een gebrek aan interpreteerbaarheid met betrekking tot waarom een acquisitie als slecht wordt beschouwd.

Methodologie

Het artikel stelt een verenigd, modaliteitsonafhankelijk machine learning-framework voor, ontworpen voor automatische kalibratiebewaking, kwaliteitsbeoordeling en adaptieve acquisitiesteun. Het framework behandelt kalibratie als een statistisch consistentieprobleem, waarbij acquisities worden geëvalueerd tegenover empirische referentieverdelingen in plaats van uitsluitend te vertrouwen op instrumentele procedures.

De pipeline bestaat uit zes stadia:

Referentiestadium: Modaliteitsspecifieke referentiemetingen worden verworven om empirische verdelingen, tolerantie-intervallen en betrouwbaarheidsgrenzen voor nominale operationele condities te definiëren.
Feature-ruimtestadium: Elke acquisitie wordt getransformeerd naar een gestructureerde feature-vector die deterministische kwaliteitsindicatoren combineert met statistische beschrijvers. Deze leggen geometrische, spectrale, ruimtelijke en statistische eigenschappen vast. Outlier-beschrijvers worden afgeleid via de Mahalanobis-afstand en dichtheidgebaseerde anomaliedetectie.
Exploratiefase: Univariabele/multivariabele statistiek, correlatieanalyse en dimensionaliteitsreductie worden gebruikt om de structuur van de feature-ruimte te onderzoeken alvorens tot classificatie over te gaan.
Classificatiefase: Een gesuperviseerde leerlaag (binaire labels "goed" versus "slecht") wordt toegepast. Verschillende classifiers worden geselecteerd op basis van de complexiteit van de modaliteit:
- 3D-modellering: Logistische Regressie.
- HSI: CatBoost (gradient-boosting trees).
- XRF: XGBoost (geïdentificeerd in de tekst als de beste prestaties leverend; Tabel 3 rapporteert metrieken voor CatBoost).
- Raman: XGBoost.
  Ongesuperviseerde methoden (Gaussian Mixture Models, DBSCAN, Isolation Forest, One-Class SVM) worden gebruikt om anomale of ongeziene degradatiepatronen te detecteren.
Explainable AI (XAI) Fase: Interpreteerbaarheid wordt bereikt met behulp van SHAP en LIME om te identificeren welke features de beslissingen van de classificatie aansturen, waarbij statistische afwijkingen worden gekoppeld aan fysieke oorzaken (bijv. inconsistenties in verlichting, baseline-fluctuaties).
Feedbackfase: Acquisities worden toegewezen aan een van vier klassen: acceptabel, automatisch corrigeerbaar, opnieuw opnemen, of menselijke interventie vereist. Deze beslissing is gebaseerd op een globale ernstscore $S(x) = \alpha D(x) + \beta A(x) + \gamma U(x)$ $S (x) = α D (x) + β A (x) + γ U (x)$ , die het volgende combineert:
- $D(x)$ : Statistische afwijkingsscore (Mahalanobis-afstand).
- $A(x)$ : Anomaliescore (Isolation Forest).
- $U(x)$ : Voorspellingsonzekerheid ( $1 - \max(p)$ ).

Belangrijkste Bijdragen

Verenigd Multimodaal Framework: Het eerste voorgestelde framework dat kwaliteitsbeoordeling en kalibratiebewaking integreert over fotogrammetrie, HSI, XRF en Raman-spectroscopie binnen één enkele pipeline.
Statistische Consistentiebenadering: Herinterpreteert kalibratie als een statistisch consistentieprobleem, waarbij acquisities worden geëvalueerd tegenover referentieverdelingen in plaats van enkel instrumentele controles.
Uitlegbare Beslissingsondersteuning: Integreert XAI om interpreteerbare diagnostische informatie te bieden, waarbij statistische afwijkingen in de feature-ruimte (bijv. driehoekige aspectratio's, fluorescentie-achtergrond) worden gekoppeld aan actiegerichte corrigerende maatregelen.
Adaptief Feedbackmechanisme: Vestigt een mapping tussen feature-ruimte afwijkingen en acquisitie-niveau corrigerende acties (bijv. het aanpassen van verlichting, belichtingstijd of geometrie), wat de basis legt voor een closed-loop robotische kalibratie.

Experimentele Resultaten

Het framework werd gevalideerd op multimodale datasets van het AUTOMATA-project, bestaande uit handmatig verworven data met intentionele variabiliteit om real-world condities te simuleren. De datasets bevatten:

3D-modellen: 51 reconstructies (ceramica en lithica).
HSI: 513 artefacten (421 keramica, 92 lithica) met behulp van een Specim IQ camera.
XRF: 941 metingen van 159 artefacten met behulp van Olympus Vanta C-serie apparaten.
Raman: 201 metingen van 56 artefacten met behulp van een Metrohm i-Raman Plus 785S.

Prestatie-metrieken:

3D-modellering (Logistische Regressie): Nauwkeurigheid 0.80, AUC 0.83. SHAP-analyse identificeerde driehoekige aspectratio's en rand-edge statistieken als belangrijke drijvers.
HSI (CatBoost): Nauwkeurigheid 0.86, AUC 0.92. Het model scheidde beslissingsklassen effectief op basis van spectrale en ruimtelijke consistentie.
XRF: De tekst stelt dat XGBoost de beste prestaties behaalde; echter rapporteert Tabel 3 metrieken voor een CatBoost-model (Nauwkeurigheid 0.94, AUC 0.93).
Raman (XGBoost): Nauwkeurigheid 0.80, AUC 0.83. Classificatie werd gedomineerd door fluorescentie-gerelateerde beschrijvers en piekscherpte-metrieken.

Noot: De auteurs merken op dat de resultaten als voorlopig moeten worden beschouwd vanwege de beperkte omvang van de huidige datasets en de binaire aard van de labels. Class imbalance is nog niet aangepakt via resampling of weighting.

Betekenis en Claims

Het artikel claimt dat de voorgestelde methodologie succesvol relevante acquisitie-variabiliteit vastlegt en robuuste kwaliteitsbeoordeling mogelijk maakt over heterogene sensormodaliteiten heen. Door fysieke kwaliteitsindicatoren te combineren met machine learning en XAI, ondersteunt het framework:

Automatische Discriminatie: Het onderscheiden van acceptabele en problematische acquisities.
Interpreteerbaarheid: Het begrijpen van de onderliggende oorzaken van degradatie (bijv. het onderscheid tussen detectorinstabiliteit en verlichtingsproblemen).
Resource Bewustzijn: Het mogelijk maken van adaptieve strategieën waarbij marginale gevallen kunnen worden gecorrigeerd of opnieuw worden opgenomen, terwijl ernstige gevallen worden gemarkeerd voor menselijke controle.

De auteurs positioneren dit werk als een fundamentele stap richting een volledig adaptieve robotische acquisitie-workflow. Zij stellen expliciet dat hoewel de huidige implementatie dient als een beslissingsondersteuningsmechanisme, toekomstig werk zich zal richten op het valideren van de closed-loop feedback binnen een robotisch platform en het verfijnen van de failure-mode classificatie voorbij binaire labels. Het framework is ontworpen om inherent adaptief te zijn, waardoor statistische beschrijvers en modellen kunnen evolueren naarmate er nieuwe gegevens worden verzameld onder variërende operationele condities.