Catalogue Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints

Este artigo propõe um pipeline automatizado e localmente implantável que utiliza modelos de linguagem multimodais para gerar metadados descritivos e atribuições de artistas em vídeos de museus, melhorando a descoberta de arquivos audiovisuais enquanto respeita restrições de recursos, soberania de dados e regulamentações.

O essencial

Imagine que um museu é como uma biblioteca gigante de vídeos. Eles filmam as salas de exposição, as pessoas passeando e as obras de arte. Mas, infelizmente, a maioria desses vídeos está "presa" em um cofre digital. Por que? Porque ninguém escreveu um rótulo para eles. Se você pesquisar "quadro de um cavalo", o sistema não sabe que aquele vídeo de 30 segundos mostra exatamente isso.

Atualmente, para organizar esses vídeos, os curadores teriam que assistir a cada um manualmente e escrever descrições. Isso levaria anos e custaria uma fortuna.

Os autores deste artigo criaram um assistente de IA inteligente para fazer esse trabalho chato, mas com uma regra de ouro: "É melhor não dizer nada do que dizer algo errado."

Aqui está como funciona, usando uma analogia simples:

1. O Problema: A IA "Alucina"

Se você pedir para uma IA comum olhar um vídeo de um museu e dizer "Quem pintou isso?", ela pode tentar adivinhar. Se a imagem estiver borrada ou com reflexo, ela pode inventar um nome falso (ex: "Isso é de Van Gogh!"). Em um museu, um erro assim é catastrófico, pois mancha a história da arte.

2. A Solução: O Detetive com uma Lista de Verificação

Os pesquisadores criaram um sistema que não apenas "olha" o vídeo, mas compara o que vê com o Catálogo Oficial do museu (uma lista rigorosa de todas as obras que eles têm).

Eles usam uma IA chamada VideoLLaMA (o "cérebro" do sistema), mas a treinaram de um jeito especial:

• O Treinamento (A Escola): Eles ensinaram a IA a não apenas descrever o que vê, mas a agir como um curador. Se ela não tiver certeza, ela deve dizer: "Não consigo ver" (em vez de inventar um nome).
• A Regra de Ouro: A IA só dá um nome (Título ou Artista) se tiver prova concreta de que aquele nome existe no catálogo oficial do museu.

3. Como Funciona na Prática (O Processo de 3 Etapas)

Imagine que a IA está analisando um vídeo de uma sala de pintura:

1. O Resumo (O Guia Turístico): Primeiro, a IA descreve o vídeo de forma geral: "Vejo três quadros na parede. O primeiro é um retrato de uma mulher, o segundo é uma paisagem...". Isso é útil mesmo que ela não saiba os nomes dos artistas.
2. A Tentativa Direta (O Chute Educado): A IA tenta adivinhar o nome do artista principal. Se ela tiver certeza absoluta, ela diz: "Acho que é 'O Lavrador' de X".
3. O Filtro de Segurança (O Detetive):
   • Se a IA não tiver certeza, ela não chuta. Ela diz: "Não visível".
   • Se ela tiver uma ideia, ela pega essa ideia e compara com a lista oficial do museu.
   • Se a lista oficial tiver um quadro muito parecido, ela confirma.
   • Se a lista não tiver nada parecido, ou se houver duas opções muito parecidas, ela para e pede ajuda humana, dizendo: "Não tenho certeza, um humano deve verificar".

4. Por que isso é importante? (A Metáfora do "Não Sabe")

Pense em um funcionário de banco. Se ele não sabe a senha do cliente, ele não inventa uma senha para tentar entrar. Ele diz: "Não sei, chame o gerente".

• Sistemas antigos (ou IAs comuns): Tentam adivinhar a senha. Se errarem, o banco é invadido (ou no museu, a história fica errada).
• Este novo sistema: É como o funcionário prudente. Ele prefere dizer "Não sei" a arriscar um erro.

5. O Resultado

O sistema consegue transformar vídeos bagunçados de museus em arquivos pesquisáveis.

• Você pode pesquisar "Retrato de mulher" e encontrar o vídeo.
• Você pode pesquisar "Artista X" e encontrar os vídeos onde ele aparece.
• E o mais importante: Nenhum nome falso é colocado no sistema sem uma verificação rigorosa.

Resumo em uma frase

Os autores criaram um "assistente de IA" que descreve vídeos de museus com tanta precisão que ele sabe exatamente quando não deve responder, garantindo que a história da arte nunca seja corrompida por um erro de computador.

Isso é feito rodando no computador do próprio museu (sem enviar dados para a nuvem), respeitando a privacidade e as regras de direitos autorais, tornando a tecnologia acessível e segura para instituições culturais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Catalogue-Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints", apresentado em português:

1. O Problema

Os arquivos audiovisuais (AV) em museus e galerias estão crescendo rapidamente, mas grande parte desse material permanece "trancado" e inacessível devido à falta de metadados consistentes, pesquisáveis e vinculados ao catálogo existente.

• Desafio Atual: As práticas de arquivamento atuais dependem de visualização e registro manuais, o que não escala com a produção contínua de vídeo.
• Restrições Críticas:
  1. Soberania de Dados e Direitos: O conteúdo de museus é frequentemente restrito por direitos autorais ou sensível operacionalmente, exigindo implantação local (sem APIs de nuvem de terceiros).
  2. Custo Assimétrico de Erros: Atribuições incorretas de títulos ou artistas podem contaminar a pesquisa acadêmica e a tomada de decisão interna. Portanto, o sistema deve preferir a abstenção (não responder) a fornecer uma atribuição errada.
  3. Complexidade Visual: Vídeos em galerias sofrem com movimento, reflexos, oclusão e falta de placas de identificação legíveis, tornando a geração direta de metadados por modelos de linguagem pouco confiável.

2. Metodologia

Os autores propõem um pipeline de aprendizado multimodal "ancorado no catálogo" (catalogue-grounded), utilizando o modelo VideoLLaMA2.1-7B com adaptação leve (LoRA). O sistema não gera atribuições de identidade livremente; em vez disso, trata a identificação como uma decisão de conjunto fechado sobre um catálogo existente, com mecanismos de abstenção explícita.

O pipeline consiste em cinco estágios:

1. Pré-processamento de Vídeo: Segmentação de vídeos longos em clipes e amostragem de quadros (T frames) para entrada no modelo.
2. Indexação do Catálogo: Construção de um índice determinístico a partir do catálogo de pinturas (títulos, artistas, assuntos), normalizando textos e calculando pesos IDF para recuperação.
3. Saídas Descritivas: O modelo gera um resumo de múltiplas obras, uma descrição no estilo do catálogo e um rótulo de gênero (ex: Retrato, Paisagem). Estas saídas são úteis mesmo se a identificação falhar.
4. Proposta de Identidade (ID-JSON): O modelo é treinado para tentar gerar um objeto JSON estrito com ID, título e artista. Se o modelo não tiver confiança, ele deve retornar explicitamente {"id": "unknown", ...}.
5. Recuperação e Desambiguação Robusta:
   • Se a proposta direta falhar, o sistema extrai palavras-chave iconográficas do vídeo.
   • Realiza uma recuperação baseada em similaridade de tokens sobre o catálogo.
   • Se houver um candidato claro, ele é aceito automaticamente.
   • Caso contrário, um processo de desambiguação de múltipla escolha (MC) é acionado, onde o modelo escolhe entre candidatos. A decisão final só é aceita se houver uma maioria clara; caso contrário, o sistema absteve-se (retorna "não visível").

3. Principais Contribuições Técnicas

• Aprendizado Supervisionado Alinhado à Implantação: O modelo é ajustado (fine-tuned) com dados que simulam a interação real, incluindo a geração de JSON estruturado e a instrução explícita de abster-se quando a evidência é fraca. Isso ensina o modelo a tratar a identidade como uma decisão estruturada, não como geração de texto livre.
• Pipeline de Recuperação e Desambiguação em Duas Etapas: Combina a capacidade de geração do LLM com um mecanismo determinístico de recuperação de banco de dados e regras de aceitação conservadoras (votação majoritária e margens de confiança) para reduzir a fragilidade de passagens únicas.
• Abstenção como Saída de Primeira Classe: O sistema foi projetado para priorizar a precisão sobre a cobertura. A abstenção explícita ("não visível") é tratada como um resultado válido e desejável quando a confiança é baixa, evitando alucinações.
• Implantação Local e Eficiente: O uso de LoRA (Low-Rank Adaptation) e quantização de 4 bits permite que o sistema rode em uma única GPU, atendendo às restrições de recursos e soberania de dados dos museus.

4. Resultados e Avaliação

O sistema foi avaliado em 16 vídeos de galeria, comparando o modelo base (VideoLLaMA2) contra o modelo ajustado com o pipeline completo.

• Precisão vs. Cobertura: O pipeline completo reduziu a taxa de cobertura (número de tentativas de atribuição) em comparação com a identificação direta, mas eliminou quase totalmente as atribuições incorretas.
• Utilidade Esperada: Sob um modelo de custo onde erros são penalizados severamente (-2) e abstenções são neutras (0), o sistema proposto demonstrou uma utilidade esperada significativamente maior do que o modelo base.
• Comportamento Observado: O sistema frequentemente gera palpites visuais plausíveis, mas absteve-se na etapa final de decisão se não houver correspondência robusta no catálogo. Isso evita a propagação de erros (ex: não atribuir "The Hay Wain" incorretamente se a imagem estiver muito borrada).
• Desempenho: O pipeline completo processa um vídeo em aproximadamente 13,7 a 17,8 segundos em uma configuração de GPU única.

5. Significado e Impacto

• Solução Prática para Museus: Oferece um template transferível para aplicação de IA em domínios de alto risco (como saúde e biosciências), onde a governança de dados e a precisão são mais importantes do que a otimização de benchmarks.
• Desbloqueio de Arquivos: Permite que arquivos de vídeo de museus se tornem pesquisáveis e reutilizáveis sem violar restrições de direitos ou exigir infraestrutura de nuvem cara.
• Parceria Humano-Máquina: Posiciona o modelo como um "assistente de metadados" que prepara dados para revisão humana, em vez de uma autoridade autônoma, alinhando-se com a governança institucional e a tolerância ao risco.

Em resumo, o trabalho demonstra que, ao combinar modelos multimodais abertos com recuperação baseada em catálogos e regras rigorosas de abstenção, é possível automatizar a curadoria de metadados de vídeo em museus de forma segura, ética e tecnicamente viável sob restrições de recursos.