Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

Resumo Técnico: Completamento Semântico Assistido por IA Auditável para Metadados de Patrimônio Cultural Digital

Definição do Problema
As coleções de patrimônio cultural digital estão cada vez mais disponíveis como dados computacionais, mas sua descoberta é dificultada por metadados que são frequentemente incompletos, estruturados de forma desigual e carecem de riqueza semântica. Embora a Inteligência Artificial (IA) seja frequentemente proposta como uma solução para a geração de metadados, sua adoção em contextos de patrimônio cultural levanta preocupações significativas relativas à autoridade interpretativa, ao viés cultural e à natureza de "caixa-preta" dos modelos generativos. O desafio central não é meramente se a IA pode gerar rótulos, mas sim como criar um fluxo de trabalho de aprimoramento de metadados que seja transparente, reprodutível e auditável por catalogadores profissionais. Os registros existentes frequentemente contêm informações densas em alguns aspectos (ex: tipo de objeto, material), mas são esparsos em outros (ex: assunto, classificação), criando a necessidade de um sistema que possa recomendar termos de vocabulário controlado ausentes sem inventar novos ou obscurecer a proveniência.

Metodologia
O estudo reformula o aprimoramento de metadados como uma tarefa de completamento semântico restrito em vez de uma tarefa generativa. Em vez de pedir que um modelo produza descrições fluentes, o sistema utiliza rótulos de vocabulário controlado observados dentro de um registro para recomendar candidatos a rótulos para facetas ausentes.

• Conjunto de Dados: A pesquisa utiliza o benchmark EUFCC-340K, um conjunto de dados facetado e hierárquico derivado da Europeana contendo mais de 340.000 registros. O estudo emprega um subconjunto de treinamento fixo de 25.000 registros para garantir a reprodutibilidade em hardware comum.
• Design Experimental: É utilizado um protocolo de avaliação de rótulo mascarado. Para cada registro elegível, um rótulo existente de uma faceta alvo (tipo de objeto, material, assunto ou classificação) é ocultado. O modelo deve classificar os rótulos candidatos para essa faceta usando os demais rótulos observados como contexto. O sucesso é medido pelo fato de o rótulo oculto aparecer entre os k candidatos mais bem classificados (Recall@k).
• Modelos Avaliados:
  1. Baseline de Frequência: Classifica os candidatos com base na frequência global de treinamento dentro da faceta alvo.
  2. Coocorrência Direta: Constrói uma matriz de coocorrência rótulo-rótulo a partir dos registros de treinamento. As pontuações são derivadas da probabilidade média de um candidato aparecer dado o contexto de rótulos observados.
  3. Propagação de Grafo de Dois Saltos (Two-Hop): Estende a evidência direta através da propagação de pontuações pelo grafo de rótulos (ex: Objeto $\to$ Material $\to$ Classificação) para capturar relações indiretas.
  4. Ranking Híbrido: Uma combinação ponderada da pontuação direta, da pontuação de dois saltos e do prior de frequência.
• Restrições: O vocabulário é limitado a 600 rótulos folha (aqueles que aparecem $\ge$10 vezes no treinamento) para garantir auditabilidade e eficiência. O fluxo de trabalho prioriza o ranking determinístico e reprodutível sobre a novidade generativa.

Principais Resultados

• Assimetria de Metadados: A análise do conjunto de dados EUFCC-340K revela uma assimetria significativa na cobertura de metadados. Os campos de tipo de objeto e material são densos (cobertura de aprox. 77–93%), enquanto os campos de assunto e classificação são esparsos (6,7% e 12,9% de cobertura no split de treinamento, respectivamente).
• Desempenho da Coocorrência: No split de teste interno, o modelo de coocorrência direta superou substancialmente o baseline de frequência em todas as facetas.
  • Tipos de Objeto: O Recall@5 melhorou de 0,190 (frequência) para 0,732 (coocorrência).
  • Materiais: O Recall@5 melhorou de 0,379 para 0,790.
  • Classificações: O Recall@5 melhorou de 0,450 para 0,986.
  • Assuntos: Embora o conjunto de teste para assuntos fosse pequeno (228 casos), o baseline de frequência alcançou um Recall@5 de 1,000, que foi igualado pelo modelo de coocorrência (também 1,000). No entanto, a coocorrência superou significativamente o baseline de frequência no Recall@1 (0,934 vs. 0,272) e no Recall@3 (1,000 vs. 0,781), demonstrando precisão superior na classificação do rótulo correto no topo da lista.
• Complexidade do Modelo: O modelo híbrido não superou consistentemente o modelo de coocorrência direta mais simples. O estudo descobriu que o método transparente mais simples era frequentemente o mais forte, sugerindo que a propagação de grafo complexa ou os priors híbridos podem não ser necessários quando as relações diretas de rótulos são fortes.
• Mudança de Distribuição (Distribution Shift): O split de teste externo (representando diferentes composições de coleções) mostrou que os baselines de frequência podem parecer enganosamente fortes em distribuições de baixa entropia, enquanto a coocorrência direta permanece sensível a mudanças relacionais. Isso destaca a necessidade de avaliação específica por split, em vez de pontuações agregadas.

Significância e Alegações
O artigo alega que sua principal contribuição é um fluxo de trabalho de organização de informação reprodutível que trata o aprimoramento de metadados assistido por IA como um problema de ranking auditável.

• Auditabilidade e Governança: O estudo argumenta que a IA de alto valor no patrimônio cultural deve ser julgada pela reprodutibilidade, interpretabilidade e preservação da proveniência, não apenas pela precisão preditiva. Ao usar a coocorrência observada, cada recomendação pode ser rastreada até relações específicas de dados de treinamento, permitando que catalogadores profissionais inspecionem, validem ou rejeitem sugestões.
• Design Humano-no-Circuito (Human-in-the-Loop): O fluxo de trabalho posiciona a IA não como um substituto para os catalogadores, mas como uma camada de suporte à decisão. Ele fornece candidatos classificados para validação humana, reduzindo o custo da revisão enquanto preserva o julgamento profissional.
• Implementação Prática: A abordagem requer recursos técnicos modestos (sem redes neurais grandes, processamento de imagem ou APIs proprietárias), tornando-a acessível para instituições menores. Ela suporta um caminho de implementação em estágios: perfilamento de metadados, normalização de vocabulário, construção de grafo, sugestão de candidatos e registro de proveniência.
• Limitações: O autor reconhece explicitamente que o método herda os vieses do conjunto de dados (amplificando desequilíbrios de catalogação existentes) e não avalia a adequação cultural ou a necessidade de adicionar novos rótulos em cenários do mundo real. O estudo foca na recuperação de rótulos existentes dentro de um vocabulário controlado, não na geração de novas interpretações culturais.

Em conclusão, o artigo demonstra que o ranking transparente baseado em coocorrência pode apoiar efetivamente o enriquecimento de metadados de patrimônio cultural digital, oferecendo uma alternativa conservadora, porém escalável, aos modelos de IA generativa opacos.