💻 computer science

Explainable Multimodal AI for Adaptive Calibration of Archaeological Sensing Workflows

Este artículo presenta un marco de IA multimodal explicable que supervisa, evalúa y calibra adaptativamente diversos flujos de trabajo de detección arqueológica mediante la integración de indicadores deterministas y aprendizaje automático para detectar la degradación de la adquisición y guiar acciones correctivas.

Autores originales: Nevio Dubbini, Daniel P. van Helden, Claudia Sciuto, Martina Naso, Arthur Leck, Clement Joubert, Heeli C. Schechter, Remy Chapoulie, Gabriele Gattiglia

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nevio Dubbini, Daniel P. van Helden, Claudia Sciuto, Martina Naso, Arthur Leck, Clement Joubert, Heeli C. Schechter, Remy Chapoulie, Gabriele Gattiglia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un viajero en el tiempo con una cámara mágica, pero en lugar de tomar fotos de personas, estás capturando imágenes de vasijas de cerámica, rocas y herramientas dejadas por civilizaciones desaparecidas hace mucho tiempo. Para entender realmente estos tesoros, no solo quieres una foto bonita; necesitas saber de qué están hechos, cómo fueron moldeados e incluso qué sustancias químicas se esconden en su interior. Los científicos utilizan "supersentidos" especiales para hacer esto: uno toma imágenes en 3D, otro ve colores invisibles, otro busca metales ocultos y otro escucha las diminutas vibraciones de las moléculas. Pero aquí está el truco: estos supersentidos son caprichosos. Si la luz es incorrecta, la cámara se mueve o la máquina está cansada, los datos pueden ser basura. Es como intentar hornear un pastel perfecto pero el termómetro de tu horno está roto, tu harina está húmeda y no puedes saber si el pastel realmente está listo o si es solo un panqueque triste y plano.

Aquí es donde el problema se vuelve complicado. En el mundo de la arqueología, verificar si un escaneo es "bueno" suele requerir que un experto humano observe los datos y diga: "Hmm, eso parece raro". Pero hay tantos artefactos para escanear que los humanos no pueden revisar cada uno. La gran pregunta es: ¿Podemos enseñar a una computadora a ser el inspector de calidad? ¿Podemos construir un sistema que no solo tome los datos, sino que realmente entienda por qué un escaneo podría ser malo y sugiera cómo un robot debería intentarlo de nuevo? Este artículo profundiza en ese desafío exacto, proponiendo un sistema de IA inteligente y "explicable" que actúa como un guardián superobservador para estas misiones de escaneo arqueológico.

El detective digital de tesoros antiguos

Los autores de este artículo, un equipo de arqueólogos y científicos de la computación con conocimientos tecnológicos, han construido un nuevo tipo de "detective digital". Su objetivo es crear una red de seguridad para el escaneo automatizado de artefactos arqueológicos. En lugar de simplemente dejar que un robot tome una foto o un espectro y espere lo mejor, este sistema actúa como un estricto portero. Revisa los datos en el momento en que se recolectan para ver si son lo suficientemente confiables como para ser utilizados en la ciencia real.

Piensa en el proceso de escaneo como una banda tocando un concierto. Tienes una cámara 3D (el baterista), una cámara hiperespectral (el guitarrista), una máquina de rayos X (el bajista) y un espectrómetro Raman (el cantante). Cada instrumento debe estar perfectamente afinado. Si el baterista pierde el ritmo, toda la canción suena mal. En el pasado, si el baterista fallaba, podrías no darte cuenta hasta que el concierto terminara y la grabación estuviera arruinada. Este nuevo marco de trabajo es como un director que escucha cada instrumento mientras están tocando. Si la guitarra está ligeramente desafinada, el director no solo dice "detente"; proporciona una nota detallada diciendo: "Guitarrista, tu clavija de afinación necesita un ajuste", para que el músico pueda corregirlo antes de la siguiente canción.

Cómo funciona el sistema: La danza de seis pasos

El artículo describe un flujo de trabajo de seis pasos por el que todos los datos deben pasar. Es un poco como un control de seguridad de alta tecnología en un aeropuerto, pero en lugar de buscar cuchillos, está buscando "datos malos".

La verificación de referencia: Antes de que el robot comience a escanear las vasijas antiguas, realiza algunas "tomas de prueba" de muestras conocidas y perfectas. Esto establece la línea base, como afinar una guitarra antes de un espectáculo. El sistema aprende cómo luce lo "perfecto" para esa sesión específica.
La traducción de características: Cada escaneo se traduce luego en una larga lista de números (un "vector de características"). Estos números describen todo: qué tan rugosa es la forma 3D, qué tan brillantes son los colores o si las señales químicas tienen mucho ruido. Es convertir una imagen o un sonido complejo en un reporte de calificaciones simple.
El trabajo de detective: El sistema observa estos números para ver si algo parece sospechoso. ¿Es el nivel de ruido demasiado alto? ¿Son las formas extrañamente distorsionadas? Utiliza la estadística para detectar patrones que no encajan con la línea base "perfecta".
El juicio de decisión: Aquí es donde entra la IA. Utiliza modelos de aprendizaje automático (algoritmos inteligentes entrenados con ejemplos pasados) para decidir: ¿Es un escaneo "Bueno" o un escaneo "Malo"? Probaron diferentes tipos de "cerebros" de IA para diferentes sensores. Para los modelos 3D, un cerebro simple de "Regresión Logística" funcionó mejor. Para los datos químicos complejos (como imágenes de rayos X e imágenes hiperespectrales), necesitaron cerebros más inteligentes basados en árboles como CatBoost y XGBoost para manejar los patrones desordenados y no lineales.
La explicación del "Por qué" (XAI): Esta es la parte más emocionante. Usualmente, la IA es una "caja negra": dice "Malo", pero no sabes por qué. Este sistema utiliza "IA Explicable" (XAI) para abrir la caja. Le dice al operador exactamente qué salió mal. ¿Parpadeó la luz? ¿Estaba la cámara demasiado lejos? ¿Era la señal demasiado débil? Es como un profesor que no solo te pone una "F", sino que rodea el problema matemático exacto en el que te equivocaste y explica cómo solucionarlo.
El bucle de retroalimentación: Finalmente, el sistema da instrucciones. Puede decir: "Esto está bien, continúa", "Esto está bien, pero ajustemos la configuración e intentémoslo de nuevo", o "Esto es terrible, detente y pide a un humano que lo mire". Actualmente, esto actúa como una herramienta de apoyo a la decisión; el sistema identifica el problema y sugiere la solución, pero el ajuste automático del robot es un objetivo para el desarrollo futuro.

Los resultados: Una bolsa mixta de éxito

El equipo probó este sistema con datos del mundo real del proyecto AUTOMATA, que consiste en escanear cerámicas y piedras antiguas. No solo usaron condiciones de laboratorio perfectas; usaron datos que incluían el desorden del mundo real, como errores del operador y cambios en la luz.

Los resultados fueron prometedores, aunque no perfectos.

Para modelos 3D: El sistema identificó correctamente los escaneos 3D buenos frente a los malos el 80% de las veces. La IA notó que si los triángulos en la malla 3D eran demasiado delgados o los bordes estaban rotos, el escaneo probablemente era un fallo.
Para la Imagen Hiperespectral (HSI): Esta fue una gran victoria. El sistema logró una precisión del 86% y una puntuación muy sólida de 0.92 (llamada AUC), lo que significa que fue excelente para detectar datos espectrales defectuosos. Podía decir si la luz era inconsistente o si el sensor estaba fallando.
Para la Fluorescencia de Rayos X (XRF): El sistema fue muy bueno detectando datos de rayos X defectuosos, con una precisión del 94%. Aprendió a buscar cosas como recuentos de señal bajos o un ruido de fondo extraño que haría que el análisis químico fuera inútil.
Para la Espectroscopia Raman: Esta fue la parte más difícil. El sistema obtuvo una precisión del 80%, pero le costó un poco más detectar cada escaneo malo (menor exhaustividad o recall). ¿El principal culpable? La fluorescencia. A veces, los materiales antiguos brillan de una manera que ahoga la señal, y la IA encontró difícil distinguir esto de un simple escaneo malo.

Lo que el artículo dice (y lo que no dice)

Es importante entender lo que este artículo no afirma. Los autores son muy cuidadosos al decir que este sistema no está reemplazando la necesidad de expertos humanos ni la necesidad de que las máquinas sean calibradas físicamente. La IA no arregla el hardware de la máquina; solo te dice si los datos que salen son basura y sugiere cómo mejorar.

El artículo también aclara que, por ahora, el sistema es principalmente una herramienta de "apoyo a la decisión". Sugiere qué hacer, pero no ha sido probado completamente en un bucle cerrado donde el robot se arregle automáticamente sin que un humano presione un botón. Los autores sugieren que los resultados actuales son "preliminares" para los modelos 3D porque aún no tenían una gran cantidad de datos. Son optimistas, pero saben que necesitan más datos, especialmente de robots realizando el escaneo de forma automática, para que el sistema sea verdaderamente robusto y totalmente automatizado.

El panorama general

En términos simples, este artículo propone una forma de evitar que los arqueólogos pierdan el tiempo analizando datos basura. Al utilizar un sistema de IA inteligente y explicable, pueden detectar errores a tiempo, identificar la configuración correcta para corregirlos y asegurar que cada escaneo de un artefacto antiguo sea lo más claro y preciso posible. Es un paso hacia un futuro donde los robots puedan explorar la historia con el mismo cuidado y atención al detalle que un experto humano, pero sin cansarse o distraerse. El sistema no solo dice "esto es malo"; te dice por qué es malo y cómo hacerlo bueno, convirtiendo un posible desastre en una oportunidad de aprendizaje para la máquina.

Resumen Técnico: IA Multimodal Explicable para la Calibración Adaptativa de Flujos de Trabajo de Sensado Arqueológico

Planteamiento del Problema

La digitalización a gran escala de artefactos arqueológicos depende cada vez más de la integración de diversas tecnologías de sensado —específicamente la reconstrucción 3D fotogramétrica, la imagen hiperespectral (HSI), la espectroscopia de fluorescencia de rayos X (XRF) y la espectroscopia Raman— para capturar datos geométricos, espectrales, elementales y moleculares. Si bien estas modalidades proporcionan procedimientos de calibración interna, no garantizan que las adquisiciones individuales sean analíticamente fiables o aptas para la integración multimodal posterior.

Los desafíos actuales incluyen:

Variabilidad Específica de la Modalidad: La "calidad" de la adquisición es específica para la aplicación y depende de factores como la elección del operador, la geometría, la iluminación y las condiciones ambientales.
Falta de Estándares Unificados: No existe un estándar para evaluar la calidad y la propagación del error a través de modalidades heterogéneas. La investigación existente aborda la evaluación de la calidad y el aprendizaje automático de forma separada dentro de modalidades individuales.
Intervención Manual: Los patrones de degradación (por ejemplo, distorsiones espectrales, artefactos de reconstrucción, inestabilidad del detector) suelen identificarse manualmente, lo cual no es escalable para flujos de trabajo automatizados extensos.
Brecha de Interpretabilidad: Aunque el aprendizaje automático (ML) muestra potencial para la clasificación espectral, su integración en los flujos de trabajo arqueológicos está limitada por la falta de interpretabilidad sobre por qué una adquisición se considera deficiente.

Metodología

El artículo propone un marco de aprendizaje automático unificado e independiente de la modalidad, diseñado para el monitoreo de la calibración automática, la evaluación de la calidad y el soporte de adquisición adaptativa. El marco trata la calibración como un problema de consistencia estadística, evaluando las adquisiciones frente a distribuciones de referencia empíricas en lugar de depender únicamente de procedimientos instrumentales.

El flujo de trabajo consta de seis etapas:

Etapa de Referencia: Se adquieren mediciones de referencia específicas de cada modalidad para definir distribuciones empíricas, intervalos de tolerancia y límites de confianza para las condiciones operativas nominales.
Etapa de Espacio de Características: Cada adquisición se transforma en un vector de características estructurado que combina indicadores de calidad deterministas y descriptores estadísticos. Estos capturan propiedades geométricas, espectrales, espaciales y estadísticas. Los descriptores de valores atípicos (outliers) se derivan mediante la distancia de Mahalanobis y la detección de anomalías basada en densidad.
Etapa Exploratoria: Se utilizan estadísticas univariantes/multivariantes, análisis de correlación y reducción de dimensionalidad para investigar la estructura del espacio de características antes de la clasificación.
Etapa de Clasificación: Se aplica una capa de aprendizaje supervisado (etiquetas binarias "bueno" vs. "malo"). Se seleccionan diferentes clasificadores según la complejidad de la modalidad:
- Modelado 3D: Regresión Logística.
- HSI: CatBoost (árboles de potenciación de gradiente).
- XRF: XGBoost (identificado en el texto como el que logra el mejor rendimiento; la Tabla 3 reporta métricas para CatBoost).
- Raman: XGBoost.
  Se utilizan métodos no supervisados (Modelos de Mezcla Gaussiana, DBSCAN, Isolation Forest, One-Class SVM) para detectar patrones de degradación anómalos o no vistos.
Etapa de IA Explicable (XAI): La interpretabilidad se logra mediante SHAP y LIME para identificar qué características impulsan las decisiones de clasificación, vinculando las desviaciones estadísticas con causas físicas (por ejemplo, inconsistencias de iluminación, fluctuaciones de la línea base).
Etapa de Retroalimentación: Las adquisiciones se asignan a una de cuatro clases: aceptable, corregible automáticamente, readquirir o requiere intervención humana. Esta decisión se basa en una puntuación de severidad global $S(x) = \alpha D(x) + \beta A(x) + \gamma U(x)$ $S (x) = α D (x) + β A (x) + γ U (x)$ , que combina:
- $D(x)$ : Puntuación de desviación estadística (distancia de Mahalanobis).
- $A(x)$ : Puntuación de anomalía (Isolation Forest).
- $U(x)$ : Incertidumbre de la predicción ( $1 - \max(p)$ ).

Contribuciones Clave

Marco Multimodal Unificado: El primer marco propuesto para integrar la evaluación de la calidad y el monitoreo de la calibración a través de fotogrametría, HSI, XRF y espectroscopia Raman dentro de un solo flujo de trabajo.
Enfoque de Consistencia Estadística: Reinterpreta la calibración como un problema de consistencia estadística, evaluando las adquisiciones frente a distribuciones de referencia en lugar de solo verificaciones instrumentales.
Soporte de Decisión Explicable: Integra XAI para proporcionar información diagnóstica interpretable, vinculando las desviaciones del espacio de características (por ejemplo, relaciones de aspecto de los triángulos, estadísticas de bordes de frontera) con medidas correctivas accionables.
Mecanismo de Retroalimentación Adaptativo: Establece un mapeo entre las desviaciones del espacio de características y las acciones correctivas a nivel de adquisición (por ejemplo, ajustar la iluminación, el tiempo de exposición o la geometría), sentando las bases para una calibración robótica de bucle cerrado.

Resultados Experimentales

El marco fue validado con conjuntos de datos multimodales del proyecto AUTOMATA, que comprenden datos adquiridos manualmente con variabilidad intencional para simular condiciones del mundo real. Los conjuntos de datos incluyeron:

Modelos 3D: 51 reconstrucciones (cerámicas y líticas).
HSI: 513 artefactos (421 cerámicas, 92 líticos) utilizando una cámara Specim IQ.
XRF: 941 mediciones de 159 artefactos utilizando dispositivos Olympus Vanta C-series.
Raman: 201 mediciones de 56 artefactos utilizando un Metrohm i-Raman Plus 785S.

Métricas de Desempeño:

Modelado 3D (Regresión Logística): Precisión 0.80, AUC 0.83. El análisis SHAP identificó las relaciones de aspecto de los triángulos y las estadísticas de los bordes de los límites como los principales impulsores.
HSI (CatBoost): Precisión 0.86, AUC 0.92. El modelo separó eficazmente las clases de decisión basadas en la consistencia espectral y espacial.
XRF: El texto afirma que XGBoost logró el mejor desempeño; sin embargo, la Tabla 3 reporta métricas para un modelo CatBoost (Precisión 0.94, AUC 0.93).
Raman (XDBoost): Precisión 0.80, AUC 0.83. La clasificación estuvo dominada por descriptores relacionados con la fluorescencia y métricas de nitidez de los picos.

Nota: Los autores señalan que los resultados deben considerarse preliminares debido al tamaño limitado de los conjuntos de datos actuales y la naturaleza binaria de las etiquetas. El desequilibrio de clases aún no se ha abordado mediante remuestreo o ponderación.

Significación y Reivindicaciones

El artículo sostiene que la metodología propuesta captura con éxito la variabilidad significativa de la adquisición y permite una evaluación de la calidad robusta a través de modalidades de sensado heterogéneas. Al combinar indicadores físicos de calidad con aprendizaje automático y XAI, el marco soporta:

Discriminación Automática: Distinguir entre adquisiciones aceptables y problemáticas.
Interpretabilidad: Comprender las causas subyacentes de la degradación (por ejemplo, distinguir entre la inestabilidad del detector y los problemas de iluminación).
Conciencia de Recursos: Permitir estrategias adaptativas donde los casos marginales pueden ser corregidos o readquiridos, mientras que los casos severos son marcados para revisión humana.

Los autores posicionan este trabajo como un paso fundacional hacia un flujo de trabajo de adquisición robótica totalmente adaptativo. Declaran explícitamente que, si bien la implementación actual sirve como un mecanismo de soporte de decisión, el trabajo futuro se centrará en validar la retroalimentación de bucle cerrado dentro de una plataforma robótica y en refinar la clasificación de modos de falla más allá de las etiquetas binarias. El marco está diseñado para ser inherentemente adaptativo, permitiendo que los descriptores estadísticos y los modelos evolucionen a medida que se recolectan nuevos datos bajo diversas condiciones operativas.