Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning

Resumo Técnico: Melhorando a Detecção de Nós Raros em Aprendizado Multi-Rótulo Hierárquico

Declaração do Problema
A classificação Hierárquica Multi-Rótulo (HML) apresenta um desafio persistente: permitir que os modelos façam previsões em níveis mais profundos e granulares de uma hierarquia. Essa dificuldade decorre da raridade natural de certas classes (nós) e da restrição hierárquica de que os nós filhos são quase sempre menos frequentes que seus pais. Consequentemente, modelos padrão frequentemente falham em prever nós finos e raros, que são frequentemente críticos para insights científicos (por exemplo, detectar espécies raras em imagens de fundo marinho ou produtos gênicos raros em domínios médicos).

Abordagens existentes para o desequilíbrio em HML dependem de reamostragem baseada em observações (por exemplo, sobreamostragem de observações raras). Os autores argumentam que isso é suboptimal porque corre o risco de enfatizar excessivamente os nós pais comuns que são coanotados com filhos raros. Além disso, tratar a observação inteira como uma única unidade falha em abordar o desequilíbrio específico inerente a cada nó individual dentro da hierarquia. Adicionalmente, funções de perda padrão não contabilizam adequadamente a incerteza do modelo, o que é crucial para identificar quais nós requerem mais atenção durante o treinamento.

Metodologia
Os autores propõem um objetivo de perda ponderado para redes neurais que combina dois componentes distintos para abordar o desequilíbrio de nível de nó e a incerteza, construído sobre a estrutura da Rede Neural de Classificação Hierárquica Multi-Rótulo Coerente (C-HMCNN).

1. Ponderação de Desequilíbrio por Nó:
   Em vez de ponderar com base na frequência de observações, o método atribui pesos com base na frequência de nós individuais e seus descendentes.

• Redimensionamento: Para evitar que nós comuns recebam pesos próximos de zero (o que eliminaria seus gradientes informativos), os autores introduzem um parâmetro de peso mínimo ($\tilde{w}_0$).
• Aplicação: Os pesos são aplicados apenas às anotações positivas ($y_i=1$) dos nós, enquanto as anotações negativas permanecem não ponderadas (peso de 1). Isso incentiva o modelo a aprender nós raros sem ignorar completamente os comuns.

2. Ponderação Focal via Quantificação de Incerteza:
   Inspirado pela Perda Focal (Focal Loss), este componente enfatiza nós onde o ensemble do modelo exibe alta incerteza. Os autores utilizam um ensemble de modelos ($\Theta$) para quantificar a incerteza, explorando várias métricas:

• Média Bayesiana de Modelo Binário (bBMA): Utiliza a variância da média das previsões do ensemble, ajustada para confiança binária.
• Incerteza de Margem de Portão (GMU): Uma métrica de razão sinal-ruído que captura a variância entre as previsões do modelo enquanto incorpora um portão de confiança.
• Incerteza Epistêmica: Medida via divergência de Kullback–Leibler (KL) ou Jensen-Shannon (JS) entre as previsões do ensemble de modelos.
• Implementação: O termo focal é computado como $(U_0 + U(\Theta(X))^k)$, onde $U$ é a medida de incerteza, $U_0$ é um portão mínimo e $k$ é um fator exponencial. Este termo é computado sem gradientes para evitar o colapso do ensemble.

A função de perda final ($L_{focal}$) multiplica o termo de ponderação de desequilíbrio, o termo de ponderação focal e a "perda de restrição máxima" ($L_{MC}$) padrão usada em C-HMCNN para satisfazer as restrições hierárquicas.

Principais Contribuições

1. Ponderação de Desequilíbrio: O artigo fornece evidências de que definir a ponderação de desequilíbrio ao nível do nó (independente da distribuição de observações) é mais eficaz do que a reamostragem baseada em observações para tarefas de HML. Demonstra que um parâmetro de peso mínimo específico ($\tilde{w}_0$) é crucial para equilibrar o compromisso entre recall e precisão.
2. Ponderação Focal: Os autores adaptam o conceito de quantificação de incerteza para o contexto de HML. Eles fornecem evidências de que a incorporação de termos de incerteza (especificamente bBMA e GMU) na função de perda melhora significativamente a detecção de nós raros.
3. Avaliação Abrangente: O estudo avalia esses métodos através de 16 conjuntos de dados de produtos gênicos (hierarquias FUN e GO) e um conjunto de dados de imagens bentônicas (BenthicNet-E), cobrindo tanto estruturas de árvore quanto de Grafo Acíclico Dirigido (DAG).

Resultados Experimentais

• Conjuntos de Dados de Produtos Gênicos: A ponderação proposta por nó (com $\tilde{w}_0 = 0,25$) melhorou o recall em até um fator de cinco em comparação com os baselines (None, LPROS, HROS-PD) em conjuntos de dados específicos. Embora isso ocasionalmente tenha incorrido em um compromisso na precisão, o F1 score geral mostrou ganhos estatisticamente significativos.
• Ponderação Focal: Quando combinada com a ponderação de desequilíbrio, os termos focais (bBMA e GMU) melhoraram ainda mais os F1 scores e o recall. O desempenho da ponderação focal escalou positivamente com o tamanho do ensemble, sugerindo que um ensemble maior fornece uma estimativa de incerteza mais confiável.
• Incerteza Epistêmica: Contrariamente às hipóteses iniciais, as medidas de incerteza epistêmica (divergência KL/JS) tiveram um desempenho inferior ao bBMA e GMU. Os autores sugerem que isso pode ser porque a incerteza aleatória domina a incerteza total em redes bem treinadas.
• Modelos de Visão (BenthicNet-E): A abordagem mostrou os benefícios mais significativos quando o encoder era subótimo (ruidoso ou inicializado aleatoriamente) ou quando os dados de treinamento eram limitados. À medida que o encoder se tornava totalmente treinado e os dados abundantes, os ganhos relativos diminuíam, embora as melhorias nos nós raros persistissem.
• Abordagens Combinadas: Combinar a ponderação proposta com LPROS (um método de reamostragem) gerou novos incrementos em F1 e precisão nos conjuntos de dados de produtos gênicos, sugerindo efeitos sinérgicos. No entanto, essa combinação não teve um desempenho forte no conjunto de dados de visão.

Significância e Alegações
O artigo afirma que sua abordagem permite a detecção consistente de nós raros em camadas profundas de uma hierarquia, um problema frequentemente ignorado por modelos HML padrão devido ao desequilíbrio natural dos dados. A significância reside na mudança do foco de "observações raras" para "nós raros", evitando a armadilha de reforçar nós pais comuns. Os autores afirmam que seu método é particularmente eficaz para tarefas de HML desafiadoras onde a detecção de nós raros é um problema severo, como em domínios com encoders subótimos ou dados limitados. Eles concluem que, embora os benefícios diminuam com encoders perfeitos e dados abundantes, o método permanece uma estratégia robusta para melhorar o recall e os F1 scores em configurações hierárquicas desequilibradas do mundo real.