SCHK-HTC: Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning for Hierarchical Text Classification

1. O Problema

A Classificação Hierárquica de Texto (HTC) em cenários de poucos exemplos (few-shot) é uma tarefa desafiadora que envolve mapear textos para uma hierarquia de rótulos pré-definida (estrutura em árvore) com dados escassos.

O artigo identifica um gargalo crítico nas abordagens atuais:

• Dificuldade em distinguir classes "irmãs" (sibling classes): À medida que a classificação avança para níveis mais profundos da hierarquia, as diferenças semânticas entre os rótulos tornam-se cada vez mais sutis.
• Falta de conhecimento de domínio: Modelos baseados apenas no texto muitas vezes não conseguem distinguir classes semanticamente similares sem conhecimento externo.
• Limitações de métodos existentes:
  • Métodos baseados em GNNs exigem muitos dados.
  • Métodos de contrastive learning (como HierVerb) aumentam a sobreposição de representações em níveis inferiores, exacerbando a confusão.
  • Métodos que usam Knowledge Graphs (KG) (como K-HTC) muitas vezes não utilizam o conhecimento de forma hierárquica ou não fundem bem a semântica do rótulo com o conhecimento específico.
  • Métodos baseados em LLMs (como DCL) são computacionalmente caros e dependem de grandes quantidades de dados anotados para in-context learning.

O objetivo central é melhorar a discriminação entre classes irmãs em níveis profundos da hierarquia, especialmente sob restrições de recursos (poucos exemplos).

---

2. Metodologia: SCHK-HTC

O autores propõem o SCHK-HTC (Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning), um framework inovador que combina Prompt Tuning, Contrastive Learning e Knowledge Graphs. A arquitetura possui dois componentes principais:

A. Codificador Consciente do Conhecimento Hierárquico (HK-Encoder)

Este módulo extrai e codifica conhecimento estruturado para enriquecer a representação do texto:

1. Extração de Subgrafo: Realiza Entity Linking no texto de entrada contra o Wikidata, extraindo entidades e seus vizinhos de um hop (relações).
2. Codificação Dual:
   • Modalidade Semântica: Usa embeddings do BERT para as entidades.
   • Modalidade Estrutural: Usa Node2Vec para gerar embeddings globais do subgrafo e agrega informações dos vizinhos.
3. Fusão: As representações semânticas e estruturais são fundidas via adição elemento a elemento.
4. Prompt Tuning: O conhecimento é injetado no modelo através de um template do tipo cloze (ex: "O conhecimento da primeira camada é [MASK]..."), permitindo que o modelo aprenda representações sensíveis ao nível hierárquico.

B. Mecanismo de Aprendizado Contrastivo de Irmãos (Sibling Contrastive Learning - SCL)

Para resolver a ambiguidade entre classes similares, o modelo emprega uma estratégia de aprendizado contrastivo específica:

• Verbalizadores: Utiliza verbalizadores (mapeamento de rótulos para palavras) para gerar embeddings positivos (rótulo verdadeiro) e negativos.
• Mineração de Hard Negatives: Seleciona os rótulos "irmãos" com maior probabilidade prevista (exceto o verdadeiro) como hard negatives.
• Objetivo: Forçar o modelo a aprender distinções finas e críticas entre categorias semanticamente similares, aumentando a separabilidade no espaço de características.

C. Funções de Perda (Loss Functions)

O treinamento é otimizado minimizando uma combinação ponderada de quatro perdas:

1. Perda de Classificação (BCE/CE): Para a tarefa principal de classificação em cada camada.
2. Perda InfoNCE Hierárquica Consciente do Conhecimento (KH-InfoNCE): Garante que amostras com o mesmo rótulo em uma camada específica tenham representações de conhecimento mais similares do que amostras com rótulos diferentes.
3. Perda de Aprendizado Contrastivo de Irmãos (SCL Loss): Foca na separação entre o rótulo verdadeiro e os rótulos irmãos confusos.
4. Perda MLM (Masked Language Modeling): Mantida do pré-treinamento do BERT para preservar a capacidade linguística.

---

3. Principais Contribuições

1. Novo Framework de Prompt Tuning Hierárquico: Propõe um método que integra explicitamente conhecimento hierárquico extraído de KGs via prompting, superando a falta de dados em cenários few-shot.
2. Mecanismo SCL (Sibling Contrastive Learning): Introduz uma perda contrastiva específica para rótulos irmãos, utilizando hard negatives para forçar o modelo a distinguir nuances sutis entre classes similares, algo que métodos anteriores negligenciavam.
3. Integração Eficiente de KG: Diferente de abordagens anteriores, o método funde conhecimento estruturado e semântico de forma hierárquica, sem depender de LLMs massivos ou grandes volumes de dados anotados.
4. Desempenho Superior: Validação extensiva mostrando ganhos significativos em múltiplos conjuntos de dados, especialmente na classificação de níveis mais profundos e finos da hierarquia.

---

4. Resultados Experimentais

O modelo foi avaliado em três conjuntos de dados padrão: WOS (single-path), DBpedia (single-path) e RCV1-V2 (multi-path), em configurações de few-shot (1, 2, 4, 8, 16 exemplos).

• Desempenho Geral: O SCHK-HTC superou consistentemente os métodos State-of-the-Art (SOTA), incluindo HierVerb e DCL, na maioria das configurações de k-shot.
• Ganhos Específicos:
  • No conjunto WOS, obteve o melhor Macro-F1 e Micro-F1 em todas as configurações (ex: 45.04% vs 44.28% do HierVerb no 1-shot).
  • No DBpedia, alcançou 96.26% de Micro-F1 no 16-shot, superando os concorrentes.
  • Em RCV1-V2 (multi-path), manteve uma vantagem competitiva, embora o ganho diminua ligeiramente em shots maiores devido à complexidade de rótulos co-ocorrentes.
• Análise de Níveis Profundos: A Figura 1 do artigo mostra que o modelo tem desempenho superior na camada mais profunda das hierarquias (onde a confusão é maior), validando a eficácia do SCL.
• Visualização (t-SNE): A visualização das embeddings (Figura 3) demonstra que o SCHK-HTC cria clusters de classes irmãs mais bem definidos e separados em comparação ao HierVerb, que apresenta sobreposição difusa.
• Estudo de Ablação: A remoção do módulo SCL causou a maior queda de desempenho, confirmando que o aprendizado contrastivo entre irmãos é o componente mais crítico para a discriminação fina.

---

5. Significância

O trabalho SCHK-HTC representa um avanço significativo na área de Classificação Hierárquica de Texto com poucos dados.

• Solução para Ambiguidade: Resolve efetivamente o problema de "confusão de irmãos" em níveis profundos, que era um obstáculo não resolvido para métodos anteriores.
• Eficiência: Oferece uma alternativa viável e eficiente aos métodos baseados em LLMs gigantes, sendo treinável em GPUs convencionais e exigindo poucos dados.
• Aplicabilidade Prática: A capacidade de integrar conhecimento estruturado (KG) de forma hierárquica via prompt tuning abre novas possibilidades para aplicações em cenários reais onde dados rotulados são escassos, como categorização de notícias, classificação de artigos acadêmicos e taxonomia de produtos.

Em resumo, o SCHK-HTC demonstra que a combinação de conhecimento estruturado hierárquico e aprendizado contrastivo focado em irmãos é a chave para superar as limitações dos modelos atuais em cenários de classificação de texto complexos e com dados limitados.