🤖 AI

Multimodal fusion of visual and morphometric features for avian bone classification

Este estudo apresenta uma prova de conceito de um framework de aprendizado profundo multimodal que integra a análise de imagens baseada em redes neurais convolucionais com medições osteométricas para alcançar alta precisão na identificação de elementos esqueléticos aviários e táxons ao nível de família, estabelecendo, assim, uma base escalável para a classificação zooarqueológica assistida por IA.

Autores originais: Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi

Publicado 2026-07-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas em vez de impressões digitais ou pegadas, suas pistas são pequenos pedaços de ossos quebrados espalhados por um acampamento antigo. Este é o mundo da zooarqueologia, onde cientistas estudam restos animais para entender como as pessoas viviam, comiam e interagiam com a natureza no passado. Por séculos, este tem sido um trabalho para especialistas humanos que passam anos memorizando a forma de cada osso de pássaro que conseguem encontrar. Mas e se pudéssemos ensinar um computador a fazer o trabalho pesado? É aqui que a Inteligência Artificial (IA) entra. Pense na IA como um superaprendiz que pode observar milhares de fotos e medições para encontrar padrões que os humanos podem perder. Normalmente, a IA é ótima em olhar para imagens (como reconhecer um gato em uma foto) ou ler números (como prever o tempo), mas este artigo faz uma pergunta maior: o que acontece se ensinarmos o computador a olhar para a imagem e ler os números ao mesmo tempo? É como pedir a um detetive que não apenas olhe para o rosto de um suspeito, mas também meça sua altura e peso simultaneamente para fazer um palpite melhor. O objetivo é tornar esses detetives digitais mais inteligentes, rápidos e úteis para desvendar os segredos do passado.

Neste estudo, uma equipe de pesquisadores construiu um "cérebro digital" projetado para identificar ossos de aves, uma tarefa que é notoriamente difícil porque os esqueletos de pássaros são pequenos, frágeis e muito semelhantes entre si. Eles não apenas alimentaram o computador com um monte de fotos; eles criaram um sistema multimodal, que é uma forma elegante de dizer que a IA recebe dois tipos diferentes de pistas ao mesmo tempo. Primeiro, ela observa a imagem do osso, usando um tipo especial de IA chamada Rede Neural Convolucional (CNN), que atua como um par de superolhos para detectar formas e texturas. Segundo, ela lê uma lista de medições, como o comprimento do osso ou a largura de suas extremidades, o que funciona como uma régua para o computador. Os pesquisadores combinaram esses dois fluxos de informação em um único processo de tomada de decisão, esperando que a imagem ajudasse a IA a ver a "forma geral" enquanto os números ajudavam a entender os "detalhes finos".

Para treinar esse cérebro, a equipe reuniu uma biblioteca massiva de mais de 10.000 imagens de museus e coleções de pesquisa. Antes que a IA pudesse aprender, eles tiveram que limpar os dados. Eles utilizaram uma equipe de limpeza digital de duas etapas para recortar os ossos do fundo, removendo quaisquer réguas ou superfícies de mesa que pudessem distrair a IA, para que ela pudesse focar puramente no osso em si. Eles também ensinaram a IA a lidar com informações ausentes; às vezes, uma medição pode estar faltando em um registro, então eles treinaram o sistema para ainda funcionar mesmo se tivesse apenas a foto, ou apenas os números, ou ambos.

Os pesquisadores testaram sua criação em dois desafios diferentes. O primeiro foi identificar que parte do pássaro era o osso (como um osso da asa, um osso da perna ou um crânio). O segundo, desafio muito mais difícil, foi identificar a qual família de pássaros ele pertencia (como um pato, uma coruja ou um falcão).

Os resultados foram uma mistura de sucesso de alto voo e alguns tropeços. Quando a IA tentava adivinhar o tipo de osso, ela era incrivelmente perspicaz, acertando 86% das vezes em novos dados de teste não vistos. Era como um detetive que consegue instantaneamente distinguir a diferença entre um sapato e um chapéu apenas olhando para uma foto borrada. No entanto, quando a tarefa mudou para a identificação da família do pássaro, a IA achou a tarefa muito mais difícil. Ela acertou a família exata apenas 51% das vezes (Acurácia Top-1). Mas aqui está a parte emocionante: se você pedisse à IA para dar seus três principais palpites, ela estava certa 75% das vezes. Isso significa que, mesmo quando não escolheu o vencedor na primeira tentativa, a resposta correta estava quase sempre escondida em suas três principais sugestões.

O artigo sugere que essa diferença ocorre porque distinguir dois ossos diferentes é mais fácil do que distinguir duas famílias de pássaros diferentes. Ossos de aves de famílias relacionadas podem parecer quase idênticos, um desafio que até especialistas humanos enfrentam. Os autores observam que seu sistema é uma "prova de conceito", o que significa que prova que a ideia funciona, mas não é um produto acabado pronto para cada osso antigo ainda. Eles o treinaram principalmente com ossos modernos e perfeitos de museus, portanto, não têm certeza de quão bem ele lidará com ossos antigos, quebrados ou queimados encontrados em locais de escavação reais.

Em última análise, este estudo mostra que combinar imagens e medições cria uma ferramenta mais robusta do que usar apenas uma ou outra. Embora a IA ainda não esteja substituindo o especialista humano, ela atua como um assistente poderoso que pode restringir as possibilidades, sugerindo uma lista de candidatos prováveis para o arqueólogo investigar. Os pesquisadores esperam que, no futuro, à medida que alimentem o sistema com mais dados e o ensinem a lidar com peças quebradas, este detetive digital se torne um parceiro ainda mais essencial na abertura das histórias escondidas nos ossos de aves.

Resumo Técnico: Fusão Multimodal de Características Visuais e Morfométricas para Classificação de Ossos de Aves

Definição do Problema
A identificação de restos esqueléticos aviários na zooarqueologia é uma tarefa complexa, caracterizada por uma alta variabilidade morfológica, fragmentação e uma forte dependência de análise manual conduzida por especialistas. Embora a Inteligência Artificial (IA) tenha tido uma adoção generalizada em vários domínios arqueológicos, sua aplicação à zooarqueologia permanece limitada. As abordagens existentes frequentemente processam os dados de forma isolada (seja visual ou tabular), falhando em aproveitar a natureza complementar dos dados de imagem e das medições osteométricas quantitativas. Este estudo aborda a necessidade de um framework assistido por IA, escalável, capaz de integrar estas modalidades de dados heterogêneas para melhorar a classificação de ossos de aves, visando especificamente duas tarefas: identificação de elementos esqueléticos e classificação taxonômica ao nível de família.

Metodologia
O estudo propõe um framework de aprendizado profundo multimodal de prova de conceito que funde a análise de imagem por Redes Neurais Convolucionais (CNN) com dados osteométricos padronizados.

Conjunto de Dados: A pesquisa utiliza um conjunto de dados de mais de 10.000 imagens provenientes de três coleções digitais (Universidade de Copenhague, Natural History Museum Tring, Universidade de Turim e Universidade de Groningen). Os dados incluem fotografias de elementos esqueléticos aviários de várias espécies e famílias, acompanhadas de medições osteométricas padronizadas (ex: dimensões lineares, larguras de diáfise) para aproximadamente 7.290 espécimes.
Pré-processamento e Segmentação: Um pipeline de segmentação rigoroso de dois estágios foi implementado para isolar os espécimes ósseos de fundos e réguas:
1. BiRefNet: Utilizado para a identificação inicial do objeto em primeiro plano.
2. SAM2 (Segment Anything Model 2): Aplicado para o refinamento utilizando prompts positivos e negativos gerados automaticamente.
- Controle de Qualidade: O pipeline inclui filtragem morfológica, pontuação heurística baseada em forma e cor (utilizando o espaço de cor CIELAB para distinguir o osso da argila) e critérios específicos para rejeitar segmentações não confiáveis. A segmentação manual foi realizada para os cerca de 200 ossos restantes onde a taxa automatizada foi insuficiente.
- Aumento de Dados (Data Augmentation): Uma estratégia de "dropout de medição" foi empregada durante o treinamento, omitindo aleatoriamente vetores osteométricos para garantir a robustez do modelo quando os dados numéricos não estão disponíveis.
Arquitetura do Modelo: O framework de classificação utiliza uma estratégia de fusão ao nível de características:
- Ramo Visual: Utiliza um backbone EfficientNet_V2_S pré-treinado (pesos ImageNet) para extrair um embedding de pooling global de 2048 dimensões das imagens segmentadas.
- Ramo Morfométrico: Processa vetores osteométricos padronizados como um conjunto de características estruturadas paralelas.
- Fusão: O vetor osteométrico normalizado é concatenado com o embedding da imagem para criar uma representação latente multimodal conjunta.
- Cabeça de Classificação: O vetor fundido passa por camadas totalmente conectadas (512 unidades $\to$ 256 unidades) com normalização de lote (batch normalization), ativação LeakyReLU e dropout ( $p=0.3$ ), antes de mapear para os logits de saída para as classes alvo.
Estratégia de Treinamento: Foi utilizada uma abordagem de treinamento de dois estágios para evitar o sobreajuste (overfitting) em relação ao conjunto de dados relativamente pequeno. Primeiro, o backbone foi congelado enquanto a cabeça de classificação era treinada. Segundo, os blocos convolucionais finais foram descongelados para o ajuste fino (fine-tuning) conjunto com uma taxa de aprendizado reduzida. A otimização utilizou Gradiente Descendente Estocástico com taxas de aprendizado diferenciais e otimização de hiperparâmetros Bayesiana via Optuna.

Principais Resultados
O modelo foi avaliado em um conjunto de teste de 15% mantido (hold-out) estratificado usando acurácia geral, precisão, recall e scores F1.

Classificação de Elementos Esqueléticos: O modelo demonstrou alta confiabilidade, atingindo 86% de acurácia no conjunto de teste. Isto indica que o framework pode efetivamente reconhecer formas anatômicas brutas (ex: fêmur, úmero, crânio).
Classificação Taxonômica ao Nível de Família: Esta tarefa provou ser mais desafiadora devido às sutis diferenças morfológicas e ao desequilíbrio de dados. O modelo alcançou 51% de acurácia top-1, mas uma acurácia top-3 de 75%. Isto sugere que, embora o modelo nem sempre selecione a família correta como a única previsão principal, o táxon correto é frequentemente incluído entre os três candidatos mais prováveis.
Comparação: Apesar do aumento da diversidade taxonômica, o desempenho da abordagem multimodal foi comparável a estudos anteriores baseados apenas em imagem (ex: Paperini et al., 2026), validando a robustez da linha de base multimodal.

Significância e Contribuições
O artigo posiciona-se como uma linha de base metodológica, em vez de um sistema pronto para uso em assembleias arqueológicas complexas. Suas principais contribuições são:

Viabilidade da Fusão Multimodal: Demonstra que integrar morfologia visual com dados osteométricos quantitativos dentro de um pipeline unificado de aprendizado profundo é viável e eficaz para a classificação arqueológica.
Linha de Base Metodológica: Ao estabelecer um framework controlado utilizando espécimes de referência modernos completos, o estudo fornece uma base para pesquisas futuras. Destaca que, embora o reconhecimento do tipo de osso seja robusto, a identificação ao nível de família requer conjuntos de dados maiores e mais equilibrados e continua sendo uma tarefa difícil, mesmo para a IA.
Utilidade Prática para Especialistas: A alta acurácia top-3 na classificação de família sugere que o sistema pode servir como uma ferramenta de suporte em fluxos de trabalho de "especialista no ciclo" (expert-in-the-loop), estreitando o intervalo de identificações plausíveis para zooarqueólogos, em vez de substituir a perícia especializada.
Direções Futuras: Os autores reconhecem limitações atuais, incluindo a falta de treinamento em restos arqueológicos fragmentados, erodidos ou queimados, e o potencial de vazamento de dados (data leakage) ao nível de espécime. O trabalho futuro é direcionado para expandir os conjuntos de dados para incluir espécimes arqueológicos, melhorar o equilíbrio de classes e explorar adaptação de domínio e aumento de danos sintéticos.

O estudo conclui que a IA multimodal possui um potencial significativo para estruturar o processo de identificação e tornar os dados comparativos mais acessíveis, desde que os desenvolvimentos futuros priorizem a explicabilidade, a estimativa de incerteza e a integração de condições realistas de preservação arqueológica.

Resumo Técnico: Fusão Multimodal de Características Visuais e Morfométricas para Classificação de Ossos de Aves

Mais como este