Catalogue Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints

Este artículo propone un marco de atribución multimodal basado en catálogos y modelos de lenguaje de video locales para automatizar la curaduría de metadatos en archivos audiovisuales de museos, mejorando su descubribilidad mientras se respetan las limitaciones de recursos, la soberanía de datos y las normativas regulatorias.

Lo esencial

Imagina que los museos tienen una biblioteca secreta gigante llena de videos. Estos videos muestran cuadros, esculturas y exposiciones, pero hay un problema: nadie sabe qué hay dentro de ellos.

Actualmente, para encontrar un video sobre un cuadro específico, un humano tendría que ver el video entero, pausarlo, leer la pequeña placa al lado del cuadro (que a veces está borrosa o tapada) y escribir manualmente una ficha. Es como intentar encontrar una aguja en un pajar, pero el pajar es un video de 5 minutos y la aguja es el nombre del artista.

Este paper presenta una solución inteligente que actúa como un "asistente de museo" automatizado, pero con una regla de oro muy importante: es mejor no saber nada que inventar una mentira.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La "Caja Negra"

Los videos de los museos están "bloqueados" porque les faltan etiquetas. Si intentas usar una Inteligencia Artificial (IA) normal para ver el video y decirte "Este es el cuadro de Van Gogh", la IA podría alucinar y decirte que es de Picasso solo porque le parece que se parece. En un museo, un error así es grave: si pones el nombre incorrecto, los investigadores y el público se confunden.

2. La Solución: El "Detective con Lista de Verificación"

Los autores crearon un sistema que no intenta adivinar libremente. En su lugar, funciona como un detective muy estricto que tiene una lista maestra (el catálogo del museo) en la mano.

El sistema sigue estos pasos:

• Paso 1: El Observador (La IA)
  La IA ve el video. En lugar de intentar adivinar el nombre, primero describe lo que ve: "Veo un cuadro de un hombre con un sombrero rojo en la pared izquierda". Esto es útil incluso si no sabe quién es el artista.
• Paso 2: El Filtro de Seguridad (La Regla de "No Ver")
  Aquí está la magia. Si la IA no está 100% segura, no inventa un nombre. Dice simplemente: "No se ve la etiqueta". Es como un guardia de seguridad que prefiere decir "no puedo identificar a esa persona" antes que arrestar al vecino por error.
• Paso 3: La Comparación (El Cotejo)
  Si la IA tiene una idea, no la publica inmediatamente. La toma y la compara con la lista maestra del museo (el catálogo digital).
  • Analogía: Imagina que la IA dice "Creo que es 'El Grito'". El sistema busca en la lista maestra. Si la lista tiene "El Grito" y la descripción coincide, ¡bien! Si la lista no tiene ese título o si hay dos cuadros parecidos, el sistema se detiene.
• Paso 4: El Juicio Final (Votación)
  Si hay dudas, el sistema no decide solo. Pide a la IA que elija entre varias opciones de la lista maestra (como un examen de opción múltiple). Si la IA no está de acuerdo o si las opciones son muy parecidas, el sistema se abstiene y no da un nombre.

3. ¿Por qué es especial? (Las Reglas del Juego)

Este sistema está diseñado pensando en las reglas reales de los museos:

• Privacidad: Los videos de los museos a veces tienen derechos de autor o son sensibles. Por eso, el sistema se ejecuta en el ordenador del museo, no en la nube de Google o Microsoft. Es como tener tu propia biblioteca privada en lugar de ir a una biblioteca pública donde todos pueden ver lo que lees.
• Precisión sobre Cantidad: Es mejor tener menos videos etiquetados pero correctos, que tener muchos videos etiquetados con errores. El sistema prefiere decir "no sé" (abstención) antes que cometer un error.
• Aprendizaje Especializado: Entrenaron a la IA no para que sea un "poeta" que inventa historias, sino para que sea un "bibliotecario" que sigue reglas estrictas y usa un formato de datos específico (JSON) para hablar con la base de datos del museo.

En Resumen

Imagina que tienes un robot en el museo. En lugar de que el robot corra por las salas gritando nombres al azar, el robot:

1. Mira el video.
2. Describe lo que ve.
3. Consulta su "libro de reglas" (el catálogo).
4. Si el libro confirma el nombre, lo escribe en la ficha.
5. Si el libro no lo confirma o la imagen está borrosa, escribe "No se ve" y pasa al siguiente video.

El resultado es que los videos del museo se vuelven buscables (puedes buscar "Retrato de mujer" y encontrar el video) sin riesgo de que el robot invente nombres falsos que arruinen la reputación del museo. Es una herramienta que ayuda a los humanos, no que los reemplaza, asegurando que la historia del arte se cuente con precisión.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Catalogue-Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints" (Atribución Multimodal Basada en Catálogos para Videos de Museos bajo Restricciones de Recursos y Regulatorias), traducido y adaptado al español.

---

1. Problema y Contexto

Los archivos audiovisuales (AV) en museos y galerías están creciendo rápidamente, pero gran parte de este material permanece "bloqueado" debido a la falta de metadatos consistentes, buscables y vinculados a catálogos.

• Limitaciones actuales: La práctica de archivado actual depende de la visualización y el registro manual, lo cual no escala con la producción continua de video.
• Restricciones críticas:
  1. Soberanía de datos y derechos: El contenido de museos suele tener restricciones de derechos o ser sensible operativamente, lo que exige despliegue local (sin APIs de nube de terceros).
  2. Costo asimétrico de los errores: Una atribución incorrecta (artista o título erróneo) puede propagarse a la investigación y la toma de decisiones. Por tanto, el sistema debe preferir la abstención explícita (reconocer que no sabe) antes que cometer un error.
• Objetivo: Automatizar la curaduría de metadatos estilo catálogo para videos dentro de la galería, utilizando un modelo de lenguaje-vídeo abierto y desplegable localmente.

2. Metodología

El sistema propone un pipeline de cinco etapas que transforma un clip de video de la galería en metadatos estructurados compatibles con el catálogo del museo. El enfoque se basa en tres principios de diseño:

1. Separar descripción de identificación: Generar descripciones visuales útiles incluso si la identidad es incierta.
2. Identidad como decisión de conjunto cerrado: Los títulos y artistas no son texto libre; deben resolverse a registros existentes en el catálogo.
3. La abstención como resultado de primera clase: El sistema debe poder declarar "no visible" cuando la evidencia es débil.

Arquitectura del Pipeline (5 Etapas)

1. Preprocesamiento de Video: Segmentación de videos largos en clips y muestreo de $T$ cuadros (frames) para el modelo.
2. Indexación del Catálogo: Construcción de un índice determinista sobre el catálogo de pinturas ($C$). Se normalizan los textos (títulos, artistas, sujetos) y se calculan pesos IDF (Frecuencia Inversa de Documento) para priorizar términos iconográficos específicos sobre descriptores genéricos.
3. Salidas Descriptivas: El modelo genera un resumen de múltiples obras (hasta 3), una descripción estilo catálogo de la obra principal y una etiqueta de género, sin intentar adivinar la identidad todavía.
4. Propuesta de Identidad (ID-JSON): El modelo fine-tuneado intenta generar un objeto JSON estricto {"id": "...", "title": "...", "artist": "..."}. Si el modelo es inseguro, devuelve id: "unknown".
5. Recuperación y Desambiguación Basada en Catálogo:
   • Si la propuesta directa falla, el modelo genera palabras clave iconográficas.
   • Se realiza una recuperación basada en similitud de tokens (IDF) contra el catálogo.
   • Si hay múltiples candidatos, se ejecuta un proceso de desambiguación de opción múltiple (MC) determinista con votación mayoritaria.
   • Si no hay consenso claro, el sistema abstiene explícitamente (devuelve "no visible").

Entrenamiento y Fine-Tuning

• Modelo Base: VideoLLaMA2.1-7B-16F (con torre visual SigLIP y backbone Qwen2).
• Eficiencia: Se utiliza LoRA (Low-Rank Adaptation) para el ajuste fino, permitiendo el entrenamiento en una sola GPU con pesos cuantizados a 4 bits.
• Datos de Entrenamiento: Se construyeron 210 pares imagen-diálogo a partir de un catálogo de 60 pinturas.
  • Se incluyen ejemplos de abstención sintética (forzando la respuesta "not visible" cuando la etiqueta no es legible).
  • Se añaden tareas auxiliares: generación de JSON estricto para identidad y tareas de opción múltiple para desambiguación.

3. Contribuciones Clave

1. Pipeline de Recuperación y Desambiguación en Dos Etapas: En lugar de generar texto libre, el sistema utiliza una recuperación determinista seguida de una desambiguación de opción múltiple con reglas de aceptación conservadoras (votación mayoritaria) para reducir la fragilidad de un solo pase.
2. Supervisión Alineada al Despliegue: El modelo se entrena específicamente para producir salidas estructuradas (JSON) y abstenciones explícitas, alineando el comportamiento de entrenamiento con los requisitos operativos de auditoría y riesgo.
3. Marco de Atribución Conservadora: El sistema prioriza la precisión sobre la cobertura. Si la evidencia no es suficiente para una coincidencia estable con el catálogo, el sistema se abstiene en lugar de alucinar, manteniendo la integridad de los datos del museo.

4. Resultados y Evaluación

La evaluación se realizó en 16 videos de galería con 13 pares de título/artista verificados (Ground Truth). Se comparó el modelo base (VideoLLaMA2) con el modelo fine-tuneado bajo el pipeline completo.

• Métricas: Se evaluó la cobertura (tasa de predicciones no abstinentes), la exactitud (coincidencia exacta de cadena) y la utilidad esperada (donde un error vale -2, una abstención 0 y una acierto +1).
• Hallazgos:
  • El modelo base (identificación directa) mostró una cobertura del 46% pero una exactitud del 0%, generando alucinaciones plausibles pero incorrectas.
  • El sistema propuesto (Pipeline completo) redujo la cobertura al 15%, pero logró una exactitud del 8% en los casos cubiertos y, lo más importante, eliminó casi por completo las atribuciones incorrectas.
  • Utilidad Esperada: Bajo un modelo de costos asimétricos (donde el error es muy costoso), el sistema propuesto tiene una utilidad significativamente superior (-0.08) comparado con el modelo base (-0.92).
  • Comportamiento: El sistema adivina visualmente (ej. "Niña con paraguas") pero, al no encontrar una coincidencia fuerte en el catálogo, abstiene correctamente en la etapa final, devolviendo "no visible".

5. Significado e Impacto

• Viabilidad Operativa: Demuestra que es posible automatizar la metadata de video en museos respetando estrictamente la soberanía de datos (despliegue local) y las restricciones regulatorias.
• Gobernanza de IA: Propone un modelo de "IA con supervisión humana" donde el sistema actúa como un asistente de metadatos que sugiere, pero no decide, delegando la validación final a reglas deterministas y curadores humanos.
• Transferibilidad: El patrón de "MLLM abierto + registro estructurado + abstención + revisión humana" es aplicable a otros dominios de alto riesgo como la salud, las ciencias biológicas y el monitoreo ambiental, donde los errores de atribución tienen consecuencias graves.

En resumen, este trabajo presenta una solución pragmática que sacrifica la cobertura de datos para garantizar la precisión y la seguridad, transformando videos de galería en activos de archivo buscables sin comprometer la integridad de los registros históricos.