Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta

Este artigo propõe um framework robusto que combina a arquitetura híbrida CoAtNet com a técnica de "model soups" para classificar imagens de Patrimônio Cultural Imaterial do Delta do Mekong, alcançando resultados state-of-the-art ao reduzir a variância e melhorar a generalização em cenários com dados limitados.

O essencial

Imagine que você tem uma biblioteca gigante de fotos antigas do Delta do Mekong, no Vietnã. Essas fotos mostram festas, músicas tradicionais, artesanato e rituais sagrados que são parte da "alma" daquela cultura. O problema é que muitas dessas fotos se parecem muito entre si. Por exemplo, uma foto de uma festa de barco pode parecer quase idêntica a uma foto de uma cerimônia em um templo.

Os pesquisadores deste artigo queriam ensinar um computador a distinguir essas fotos com perfeição, mas havia um obstáculo: não havia muitas fotos de cada tipo para treinar o computador, e as fotos que existiam eram cheias de ruídos e confusão.

Aqui está a explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O Aluno que Decora em Vez de Entender

Normalmente, quando ensinamos um computador a reconhecer imagens, usamos modelos de "Deep Learning" (aprendizado profundo). É como ter um aluno brilhante que estuda muito. Mas, com poucas fotos para estudar, esse aluno tende a decorar as imagens em vez de entender o conceito. Se ele vir uma foto um pouco diferente na prova, ele se confunde. Isso é chamado de "sobreajuste" (overfitting).

2. A Solução: O "Sopa de Modelos" (Model Soups)

Em vez de tentar criar um único aluno perfeito, os pesquisadores decidiram criar uma sopa.

• A Metáfora da Sopa: Imagine que você está cozinhando uma sopa deliciosa. Você não joga apenas um ingrediente. Você pega vários potes de caldo que você preparou em momentos diferentes durante o dia (alguns mais salgados, outros mais doces, alguns com mais legumes).
• O que eles fizeram: Eles treinaram um modelo de inteligência artificial (chamado CoAtNet) e, em vez de parar no final, salvaram várias versões dele durante o processo de aprendizado. Essas versões são como os "potes de caldo".
• A Mistura (Model Soups): Em vez de escolher apenas o "melhor" pote, eles misturaram (fizeram a média dos pesos) vários desses potes salvos. O resultado é uma "sopa" que tem o melhor de todos os momentos de aprendizado. Se um pote estava um pouco salgado demais (tendia a errar de um jeito) e outro estava sem sal (tendia a errar de outro jeito), a mistura equilibra tudo, criando um sabor (uma previsão) muito mais estável e confiável.

3. O Ingrediente Secreto: CoAtNet

O modelo base que eles usaram, o CoAtNet, é como um cozinheiro que tem duas habilidades especiais:

1. Olhar de perto: Ele usa "convoluções" para ver detalhes pequenos, como a textura de um tecido ou o rosto de uma pessoa.
2. Olhar de longe: Ele usa "atenção" (como um Transformer) para entender o contexto geral, como ver que a pessoa está em um barco em um rio, não apenas em um fundo azul.
   Essa combinação híbrida é perfeita para entender culturas complexas onde os detalhes e o cenário importam igualmente.

4. Como Eles Sabiam o que Misturar?

Eles não misturaram tudo aleatoriamente. Usaram duas estratégias:

• Sopa Uniforme: Pegaram vários potes bons e misturaram tudo igualmente.
• Sopa Gananciosa (Greedy): Começaram com o melhor pote e foram adicionando outros potes apenas se eles melhorassem o sabor da sopa. Se um pote estragasse a mistura, eles não o incluíam.

5. O Resultado: Uma Turma Mais Sábia

Para provar que a "sopa" era melhor do que apenas olhar para as previsões individuais (como uma votação simples onde todos têm um voto), eles usaram uma técnica chamada MDS (Escalonamento Multidimensional).

• A Analogia do Mapa: Imagine que cada modelo de computador é uma pessoa em uma sala.
  • Se você fizer uma "Votação Simples" (Soft Voting), você está juntando pessoas que estão todas sentadas no mesmo canto da sala, pensando exatamente a mesma coisa. Se elas estiverem erradas, todas estarão erradas juntas.
  • A "Sopa de Modelos", por outro lado, selecionou pessoas que estavam espalhadas pela sala, em lugares diferentes, com pontos de vista diferentes. Quando você as mistura, você cria um consenso muito mais inteligente e robusto.

Conclusão

O estudo mostrou que essa técnica de "fazer uma sopa" com várias versões do mesmo modelo funcionou muito bem.

• Eles conseguiram classificar as fotos culturais com 72,36% de precisão, superando todos os métodos anteriores.
• Isso é crucial para preservar a cultura, pois permite digitalizar e organizar memórias históricas que, de outra forma, poderiam se perder ou ser confundidas.

Em resumo: Em vez de confiar em um único especialista que pode estar cansado ou confuso, eles criaram um "conselho de sábios" (a sopa) que combina as melhores ideias de vários momentos de aprendizado, resultando em uma decisão muito mais precisa e segura para preservar a herança cultural do Delta do Mekong.

Resumo técnico

Resumo Técnico: Classificação de Imagens de Patrimônio Cultural Imaterial no Delta do Mekong

1. Problema e Contexto

A classificação de imagens de Patrimônio Cultural Imaterial (PCI) no Delta do Mekong (Vietnã) enfrenta desafios significativos devido a três fatores principais:

• Dados Limitados: A disponibilidade de dados anotados de alta qualidade é escassa.
• Alta Similaridade Visual: Muitas classes compartilham contextos visuais muito semelhantes (ex.: festivais religiosos ou cerimônias locais), tornando a distinção difícil.
• Heterogeneidade de Domínio: A diversidade cultural e a presença de ruído nos dados (imagens irrelevantes ou de baixa qualidade) dificultam a generalização de modelos.

Modelos de aprendizado profundo convencionais, nessas condições de "baixo recurso", tendem a sofrer de alta variância ou a superajustar-se (overfitting) a correlações espúrias, resultando em desempenho de generalização pobre.

2. Metodologia Proposta

Os autores propõem um framework robusto que combina uma arquitetura híbrida com uma técnica de ensemble leve no espaço de pesos.

• Arquitetura Base (CoAtNet):

  • Utiliza o CoAtNet, um modelo híbrido que integra operações convolucionais (para capturar padrões locais e viés indutivo espacial) com mecanismos de auto-atenção (para capturar dependências de longo alcance e contexto global).
  • A arquitetura segue uma configuração C-C-T-T (Conv-Conv-Trans-Trans), transitando de blocos convolucionais (MBConv) para blocos Transformer nas etapas finais.
  • Foram testadas duas variantes: CoAtNet-0 (pré-treinado no ImageNet-1k) e CoAtNet-2 (maior, pré-treinado no ImageNet-12k e ajustado no ImageNet-1k).

• Técnica de Ensemble: Model Soups:

  • Em vez de treinar múltiplos modelos independentes, o método coleta vários checkpoints (estados salvos durante o treinamento) de um único processo de treinamento do CoAtNet.
  • Model Soups: Uma técnica que faz a média dos pesos desses checkpoints para criar um único modelo final, sem aumentar o custo de inferência.
  • Estratégias de Seleção:
    1. Uniform Soup: Média simples de todos os checkpoints selecionados.
    2. Greedy Soup: Um algoritmo que seleciona iterativamente checkpoints que, ao serem adicionados à média, melhoram a precisão no conjunto de validação.

• Análise de Diversidade:

  • Para entender a eficácia do ensemble, os autores utilizaram Distância de Entropia Cruzada e Escalonamento Multidimensional (MDS). Isso permitiu visualizar a distribuição dos modelos no espaço de saída, demonstrando que o "Model Soup" seleciona checkpoints geometricamente diversos, ao contrário de métodos como Soft Voting que tendem a agrupar modelos redundantes.

3. Conjunto de Dados e Experimentos

• Dataset: ICH-17, contendo 7.406 imagens distribuídas em 17 classes de patrimônio cultural (ex.: música Đờn ca Tài tử, festivais Khmer, artesanato de bambu). O dataset é desbalanceado e contém ruído.
• Divisão: 6.057 imagens para treino, 600 para validação e 749 para teste.
• Baselines Comparados: ResNet-50, DenseNet-121, ViT (Vision Transformer) e estudos anteriores sobre o mesmo dataset.
• Configuração: Fine-tuning com aumento de dados (MixUp, CutMix, flip horizontal), otimizador AdamW e cosine annealing.

4. Resultados Principais

O modelo proposto alcançou resultados state-of-the-art no dataset ICH-17:

• Desempenho Global:

  • O CoAtNet-2 + Uniform Soup atingiu 72,36% de precisão (Top-1 Accuracy) e 69,28% de F1-score macro.
  • Isso supera significativamente as baselines: ResNet-50 (65,55%), DenseNet-121 (64,35%) e ViT (70,09%).
  • O CoAtNet-0 (menor) também superou todas as baselines sem ensemble, demonstrando a eficiência da arquitetura híbrida.

• Impacto do Ensemble:

  • A aplicação de Model Soups (tanto Greedy quanto Uniform) melhorou consistentemente o desempenho em relação ao melhor checkpoint individual.
  • A estratégia Uniform obteve os melhores resultados gerais, enquanto a Greedy mostrou-se competitiva, especialmente em cenários com restrições de recursos.

• Análise por Classe:

  • O ensemble melhorou a precisão em 7 das 17 classes e o F1-score em 11 classes.
  • Melhorias notáveis foram observadas em classes visualmente ambíguas (ex.: Classe 6: Lễ hội Ok Om Bok), onde a média dos pesos estabilizou as previsões.

• Estudo de Ablação (Pré-treinamento):

  • Treinar os modelos do zero (sem pré-treinamento no ImageNet) resultou em uma queda drástica de desempenho (queda de ~20 pontos percentuais na precisão), confirmando que o pré-treinamento é crucial para tarefas de baixo recurso como esta.

5. Contribuições e Significância

• Inovação Técnica: Este é o primeiro estudo a aplicar a técnica de Model Soups baseada em CoAtNet para classificação de patrimônio cultural.
• Eficiência: Demonstra que é possível obter ganhos significativos de generalização sem aumentar o custo computacional de inferência (diferente de ensembles tradicionais que exigem múltiplas passagens).
• Análise Teórica: A análise via MDS e decomposição viés-variância prova que o Model Soup atua como um mecanismo de seleção consciente da diversidade, reduzindo a variância das previsões ao agregar modelos com erros não correlacionados, em vez de apenas modelos redundantes.
• Impacto Cultural: Oferece uma solução escalável e prática para a preservação digital e documentação de heranças culturais ricas, mas com dados escassos, especificamente no contexto do Delta do Mekong.

Em conclusão, o trabalho valida que a média ponderada de checkpoints diversos em um espaço de pesos, combinada com arquiteturas híbridas modernas, é uma abordagem superior para tarefas de classificação cultural complexas e com poucos dados.