Resumo Técnico: ProtoSSL

Declaração do Problema

Em domínios de séries temporais, como análise de ondas clínicas e classificação de áudio, redes neurais profundas frequentemente alcançam alto desempenho preditivo, mas carecem de interpretabilidade. Embora redes de protótipos baseadas em projeção (por exemplo, ProtoPNet) ofereçam interpretabilidade inerente ao fundamentar previsões em raciocínio do tipo "isso parece aquilo"—comparando entradas a exemplos representativos de treinamento—abordagens existentes sofrem de duas limitações críticas:

1. Dependência de Rótulos: Protótipos são aprendidos por meio de objetivos supervisionados vinculados a estruturas de classes específicas, exigindo grandes conjuntos de dados rotulados.
2. Falta de Reutilização: Como os protótipos são otimizados para uma tarefa específica, não podem ser facilmente transferidos para novas tarefas ou conjuntos de dados downstream com espaços de rótulos diferentes, necessitando de retreinamento do zero.

Por outro lado, o aprendizado auto-supervisionado (SSL) pode aprender estruturas transferíveis a partir de dados não rotulados, mas geralmente opera no espaço latente, falhando em produzir explicações inspecionáveis por humanos e fundamentadas em projeção. O desafio central é como aprender protótipos que sejam tanto transferíveis entre tarefas quanto inerentemente interpretáveis, sem depender de rótulos específicos da tarefa durante a fase inicial de aprendizado.

Metodologia: Framework ProtoSSL

O ProtoSSL aborda isso desacoplando a descoberta de motivos do alinhamento de rótulos. O framework opera em duas fases distintas:

1. Pré-treinamento Auto-supervisionado (Descoberta de Motivos)

O ProtoSSL aprende um banco reutilizável de protótipos a partir de dados de séries temporais não rotulados.

• Arquitetura: Um codificador $f_\theta$ mapeia a série temporal de entrada $x$ para uma representação $h$. Um conjunto de protótipos aprendíveis $P$ é definido.
• Ativação: As ativações de protótipo $a(x)$ são computadas como a similaridade entre a saída do codificador e cada protótipo $p_k$.
• Objetivo: Um objetivo contrastivo auto-supervisionado (SimCLR/NT-Xent) é aplicado diretamente às ativações de protótipo projetadas $z = r_\phi(a(x))$. Isso força o modelo a representar entradas como ponderações de protótipos baseadas na consistência dos dados através de visões aumentadas, sem qualquer supervisão de rótulos.
• Regularização: Regularização KoLeo é aplicada aos vetores de protótipos para garantir que estejam espalhados no espaço latente, prevenindo colapso.
• Resultado: Um "banco de protótipos" $P$ que captura padrões recorrentes e transferíveis (motivos) na distribuição de dados, independentemente de qualquer tarefa downstream específica.

2. Adaptação ao Alvo (Alinhamento de Rótulos)

Uma vez que uma tarefa downstream com dados rotulados se torna disponível, os protótipos pré-treinados são alinhados à nova tarefa sem re-treinar o banco de protótipos.

• Atribuição: Um procedimento de atribuição não paramétrico, sem treinamento e inovador mapeia protótipos do banco para rótulos downstream. Isso é formulado como um problema de atribuição linear retangular (LAP), solucionável em tempo polinomial.
  • Uma matriz de pontuação de associação $Q$ é computada com base nas estatísticas de ativação de protótipos (comparando ativação em amostras positivas versus negativas para cada rótulo, normalizada pela variância).
  • O solucionador LAP atribui os protótipos mais discriminativos a cada slot de rótulo.
• Projeção: Os protótipos atribuídos são projetados em exemplos reais e representativos de treinamento do conjunto de dados de destino que possuem o rótulo correspondente. Esta etapa fundamenta os protótipos em segmentos de sinal concretos, preservando a interpretabilidade.
• Classificação: Um classificador de regressão logística é treinado nas ativações de protótipo projetadas. O codificador e os protótipos podem permanecer congelados (sondagem linear) ou ser ajustados finamente com supervisão de rótulos.

Contribuições Principais

1. Framework Inovador: O ProtoSSL é o primeiro framework a aprender protótipos interpretáveis fundamentados em projeção a partir de dados não rotulados e adaptá-los a tarefas downstream por meio de um procedimento explícito de atribuição e projeção.
2. Separação de Preocupações: Ao separar a descoberta de motivos (auto-supervisionada) do alinhamento de rótulos (atribuição), o framework permite a reutilização de protótipos entre conjuntos de dados e espaços de rótulos sem reaprender a representação central.
3. Eficiência de Rótulos: O framework melhora significativamente a eficiência de rótulos, permanecendo eficaz com tão poucos quanto 256 exemplos rotulados, superando baselines de protótipos supervisionados em regimes de poucos dados.
4. Interpretabilidade Humana: Um estudo de avaliação humana demonstra que protótipos aprendidos sem rótulos de tarefa são classificados como exemplos mais representativos e aceitáveis de diagnósticos do que aqueles aprendidos por supervisão direta de rótulos, apesar destes últimos terem maior precisão preditiva em alguns casos.
5. Generalizabilidade: A abordagem estende-se além de ECG para classificação de áudio, validando a separação da descoberta de motivos e do alinhamento de rótulos entre domínios distintos de séries temporais.

Resultados Experimentais

Os autores avaliaram o ProtoSSL em seis conjuntos de dados de ECG e três conjuntos de dados de áudio.

• Desempenho em ECG:

  • Dados Completos: Com ajuste fino, o ProtoSSL supera baselines de protótipos supervisionados (SupProto Direct) e alcança desempenho competitivo contra modelos de base de caixa preta.
  • Poucos Dados: Em regimes de poucos dados (até 256 amostras), o ProtoSSL (sondagem congelada) supera consistentemente tanto baselines supervisionadas quanto modelos de caixa preta. Notavelmente, o ProtoSSL com apenas 4.000 amostras iguala o desempenho de baselines supervisionadas treinadas em conjuntos de dados completos (64.000+ amostras) em certas tarefas.
  • Generalização: O ProtoSSL generaliza bem para tarefas fora de domínio onde os espaços de rótulos diferem, enquanto o pré-treinamento supervisionado por rótulos (SupProto HEEDB) falha em transferir efetivamente para tarefas com rótulos não sobrepostos.

• Desempenho em Áudio:

  • O ProtoSSL pré-treinado no AudioSet transfere-se efetivamente para UrbanSound8K, IEMOCAP e VoxCeleb1. Supera baselines supervisionadas em tarefas com sobreposição mínima de rótulos, demonstrando a robustez da fase de descoberta de motivos.

• Avaliação Humana:

  • Em um estudo cego com estudantes de medicina, os protótipos do ProtoSSL foram classificados significativamente mais altos em "aceitabilidade" (91,4% vs. 66,4%) e qualidade de explicação (82,9% vs. 67,9%) em comparação com protótipos supervisionados diretamente. Isso sugere que a descoberta auto-supervisionada produz padrões que são percebidos de forma mais consistente como exemplos clínicos representativos.

• Eficiência:

  • A etapa de atribuição é computacionalmente eficiente, resolvendo o problema de atribuição linear em segundos, enquanto métodos de atribuição paramétrica alternativos (por exemplo, ProtoPool adaptado) são uma ordem de magnitude mais lentos.

Significado e Alegações

O artigo afirma que o ProtoSSL muda fundamentalmente o paradigma para modelagem de séries temporais interpretáveis, demonstrando que protótipos interpretáveis podem ser aprendidos antes que o espaço de rótulos downstream seja conhecido.

• Desacoplamento: Prova que o mecanismo de raciocínio "isso parece aquilo" não requer supervisão de rótulos ponta a ponta para descobrir padrões úteis.
• Reutilização: Estabelece um caminho para criar componentes de modelo reutilizáveis e interpretáveis que podem ser rapidamente adaptados a novas tarefas clínicas ou industriais com dados rotulados mínimos.
• Qualidade da Evidência: Os autores postulam que a descoberta auto-supervisionada de motivos pode produzir evidências baseadas em casos mais representativas do que o aprendizado supervisionado, que pode priorizar características discriminativas que são menos intuitivamente "prototípicas" para especialistas humanos.

O trabalho posiciona o ProtoSSL como uma fundação para estudos em domínios com escassez de dados (como medicina), onde a obtenção de grandes conjuntos de dados rotulados é difícil, mas a interpretabilidade é essencial para confiança e adoção clínica.