Resumo Técnico: Avaliação Comparativa de Modelos de Aprendizado Profundo para Espectroscopia Raman

Declaração do Problema

Classificadores de aprendizado profundo (DL) para espectroscopia Raman são frequentemente relatados como superiores às abordagens quimiométricas clássicas. No entanto, o campo sofre com a falta de uma avaliação padronizada. Estudos existentes frequentemente avaliam modelos isoladamente, comparando-os apenas contra bases de referência de aprendizado de máquina (ML) tradicional ou arquiteturas de visão adaptadas trivialmente que não foram projetadas originalmente para dados espectrais. Além disso, as avaliações são frequentemente conduzidas em conjuntos de dados experimentais pequenos ou dados sintéticos, limitando a avaliação da robustez no mundo real. Consequentemente, comparações diretas entre múltiplos modelos de aprendizado profundo específicos para Raman publicados em conjuntos de dados abertos e compartilhados são escassas, dificultando a identificação de estratégias arquiteturais eficazes.

Metodologia

Este estudo estabelece um benchmark unificado para comparar cinco modelos de aprendizado profundo supervisionados e dois métodos de aprendizado de máquina convencionais através de três conjuntos de dados Raman distintos e de código aberto.

Modelos do Benchmark

O estudo avalia cinco arquiteturas de DL específicas para Raman que representam diversas filosofias de design:

1. Deep CNN [31]: Uma 1D-CNN inspirada em LeNet-5 com tamanhos de kernel fixos.
2. SANet [5]: Uma Rede de Escala Adaptativa (Scale-Adaptive Network) utilizando blocos multiescala com variados tamanhos de kernel para capturar picos de diferentes larguras.
3. RamanNet [20]: Um modelo projetado para evitar a equivalência de translação usando janelas deslizantes sobrepostas com MLPs únicas por janela.
4. Transformer [30]: Um Vision Transformer (ViT) adaptado para espectros 1D usando tokenização baseada em patches e autoatenção.
5. RamanFormer [23]: Uma arquitetura transformer modificada com dimensões de embedding reduzidas e convoluções com stride para hierarquia espacial.

Duas bases de referência de ML convencional também foram incluídas: Random Forest e Support Vector Classifier (SVC).

Conjuntos de Dados

Três conjuntos de dados de código aberto foram selecionados para cobrir diferentes domínios e desafios de mudança de distribuição:

• MLROD (Minerais): Contém espectros de minerais e misturas. Inclui um regime de teste específico "empoeirado" (simulando condições marcianas) para avaliar o desempenho sob significativa mudança de distribuição e interferência de fundo.
• Bacteria-ID (Biomédico): Contém espectros de isolados bacterianos e tratamentos antibióticos. Apresenta um conjunto de referência para pré-treinamento e um conjunto de ajuste fino (fine-tuning) com degradação óptica semelhante ao conjunto de teste.
• API (Farmacêutico): Contém espectros de ingredientes farmacêuticos ativos. As divisões de treino e teste são extraídas da mesma distribuição, representando uma tarefa padrão de classificação in-distribution.

Protocolo Experimental

• Pré-processamento: Para garantir a reprodutibilidade e isolar o desempenho do modelo, apenas a escala de intensidade foi aplicada. Nenhuma correção de linha de base, redução de ruído ou remoção de fluorescência foi realizada.
• Treinamento: Todos os modelos foram treinados usando um protocolo unificado (otimizador Adam, perda de Cross-Entropy) com ajuste independente de hiperparâmetros (busca em grade sobre tamanho de lote e taxa de aprendizado) para cada par modelo-conjunto de dados.
• Avaliação: O desempenho foi medido usando Acurácia e F1 Score médio macro ao longo de cinco execuções independentes. O estudo explicitamente evitou o AUC-ROC como métrica primária, focando na acurácia da atribuição de classe final.

Resultados Principais

1. Desempenho em Mudança de Distribuição (MLROD)

No conjunto de dados MLROD, todos os modelos exibiram degradação significativa de desempenho em amostras de teste "empoeiradas" em comparação com amostras "limpas", destacando a sensibilidade à interferência de fundo e mudanças de aquisição.

• Melhores Desempenhos: SANet e Deep CNN demonstraram a maior robustez geral. A SANet alcançou a maior acurácia geral (80,34%), superando o pior modelo de DL (Transformer) em mais de 7 pontos percentuais.
• Comparação com Baseline: Neste conjunto de dados grande e diversificado, os modelos de DL específicos para Raman geralmente superaram os modelos de ML convencional (Random Forest e SVC), sugerindo que as arquiteturas de DL são mais adequadas para capturar padrões espectrais discriminativos em ambientes complexos e deslocados.

2. Classificação Multitarefa (Bacteria-ID)

• Classificação de Isolados: Todos os modelos de DL alcançaram acurácias entre 83% e 86%. O Transformer teve um desempenho ligeiramente inferior aos modelos baseados em CNN.
• Predição de Tratamento: Todos os modelos performaram excepcionalmente bem (96–98% de acurácia), com modelos de DL superando levemente o ML convencional.
• Observação: A lacuna de desempenho entre DL e ML foi menor aqui em comparação ao MLROD, mas os modelos de DL mantiveram uma leve vantagem.

3. Classificação In-Distribution (API)

• Desempenho: Todos os modelos, incluindo o ML convencional, alcançaram desempenho próximo ao teto (99–100% de acurácia) no conjunto de dados API.
• Ambiguidade de Rótulo: O estudo observou que duas classes (4-Metil-2-pentanona e Metil Isobutil Cetona) são quimicamente idênticas. Quando esses rótulos foram mesclados (configuração de 31 classes), a acurácia atingiu 100% para vários modelos, indicando que os erros na configuração de 32 classes eram primariamente devidos ao aliasing de rótulos, em vez de falha do modelo.
• ML vs. DL: Neste conjunto de dados menor e in-distribution, os modelos de ML convencional (particularmente SVC e Random Forest) performaram comparavelmente aos modelos de aprendizado profundo.

Principais Contribuições

1. Primeiro Benchmark Multi-Modelo: Este trabalho apresenta um dos primeiros estudos a comparar três ou mais classificadores de aprendizado profundo específicos para Raman publicados através de múltiplos conjuntos de dados de código aberto sob um único protocolo reprodutível.
2. Estrutura de Avaliação Unificada: Ao impor pré-processamento consistente (mínimo), protocolos de treinamento e espaços de busca de hiperparâmetros, o estudo fornece uma comparação justa que isola diferenças arquiteturais de artefatos experimentais.
3. Análise de Mudança de Distribuição: O estudo quantifica explicitamente a fragilidade dos modelos atuais diante de mudanças de domínio (ex: contaminação por poeira, variações de hardware), mostrando que, embora os modelos se destaquem in-distribution, eles lutam significativamente quando as condições de teste divergem das condições de treinamento.
4. Estabelecimento de Baseline: O artigo estabelece bases de referência transparentes (incluindo Random Forest e SVC) para contextualizar a necessidade de arquiteturas complexas de DL.

Significância e Alegações

Os autores alegam que este benchmark fornece uma base necessária para avançar o estado da arte em espectroscopia Raman. O estudo conclui modestamente que:

• A Arquitetura Importa: Arquiteturas específicas para Raman (como SANet e Deep CNN) oferecem vantagens sobre modelos genéricos ou puramente baseados em atenção (como o Transformer padrão) ao lidar com conjuntos de dados grandes e diversos e mudanças de distribuição.
• Simplicidade vs. Complexidade: Métodos de aprendizado de máquina mais simples permanecem competitivos quando a tarefa de classificação envolve mudança de distribuição treino-teste limitada e conjuntos de dados menores.
• Qualidade dos Dados sobre Arquitetura: A queda significativa de desempenho nas amostras "empoeiradas" do MLROD sugere que os modelos atuais são altamente sensíveis à variabilidade de aquisição. Os autores argumentam que o progresso futuro depende menos de novidade arquitetural e mais do desenvolvimento de conjuntos de dados experimentais grandes, diversos e curados para treinar modelos de fundação robustos capazes de lidar com a variabilidade do mundo real.

O artigo não alega resolver o problema da mudança de distribuição, mas sim destaca-o como um gargalo crítico, sugerindo que o trabalho futuro deve focar em adaptação de domínio não supervisionada, aprendizado auto-supervisionado e modelos de fundação treinados em bibliotecas espectrais massivas e diversas.