SCHK-HTC: Sibling Contrastive Learning with Hierarchical Knowledge-Aware Prompt Tuning for Hierarchical Text Classification

Resumen Técnico: SCHK-HTC

1. El Problema: Clasificación Jerárquica de Texto con Pocos Ejemplos (Few-shot HTC)

La Clasificación Jerárquica de Texto (HTC) implica asignar textos a una jerarquía de etiquetas predefinida (estructura de árbol). El desafío se intensifica en el escenario de pocos ejemplos (few-shot), donde hay una escasez crítica de datos de entrenamiento.

• Cuello de botella actual: Aunque los métodos existentes utilizan restricciones estructurales para mantener la consistencia entre padres e hijos, fallan en distinguir clases hermanas (sibling classes) semánticamente similares, especialmente en los niveles más profundos de la jerarquía.
• Limitaciones de enfoques previos:
  • Los métodos basados en redes neuronales gráficas requieren muchos datos.
  • Enfoques como HierVerb mejoran la consistencia jerárquica pero aumentan la superposición de representaciones en niveles profundos, confundiendo clases similares.
  • Métodos que incorporan conocimiento externo (como K-HTC) a menudo no son jerárquicos ni fusionan eficazmente el conocimiento de dominio con la semántica de las etiquetas.
  • Soluciones basadas en Grandes Modelos de Lenguaje (LLM) como DCL son computacionalmente costosas y dependen de grandes cantidades de datos anotados para el aprendizaje en contexto.

2. Metodología Propuesta: SCHK-HTC

Los autores proponen SCHK-HTC, un marco innovador que combina Prompt Tuning (ajuste de indicaciones), Aprendizaje Contrastivo y Conocimiento Jerárquico (extraído de Grafos de Conocimiento). El objetivo es mejorar la percepción de las diferencias sutiles entre clases hermanas.

El marco consta de dos componentes principales y tres objetivos de entrenamiento:

A. Componentes del Modelo:

1. Codificador de Conocimiento Jerárquico (HK-Encoder):
   • Extrae conocimiento estructurado del texto utilizando Wikidata como Grafo de Conocimiento (KG).
   • Realiza enlace de entidades (entity linking) para identificar menciones en el texto y extraer sus vecinos de un solo salto y relaciones.
   • Codifica el conocimiento en dos modalidades:
     • Semántica: Usando BERT para las representaciones de las entidades.
     • Estructural: Usando Node2Vec para capturar la topología del subgrafo.
   • Fusiona ambas modalidades para generar una representación de conocimiento consciente de la jerarquía.
2. Codificador de Contexto Jerárquico:
   • Utiliza una estrategia de codificación de texto basada en prompts (adaptada de DPT).
   • Construye prompts contrastivos del tipo: "La primera capa es [MASK] en lugar de [MASK]...", donde el primer [MASK] es la etiqueta verdadera y el segundo es una etiqueta hermana confusa. Esto fuerza al modelo a aprender distinciones finas.

B. Objetivos de Entrenamiento (Función de Pérdida):
El modelo se optimiza minimizando una combinación ponderada de cuatro pérdidas:

1. Pérdida de Clasificación (BCE/CE): Pérdida estándar de entropía cruzada para la clasificación en cada capa.
2. Pérdida InfoNCE Jerárquica Consciente de Conocimiento (KH-InfoNCE):
   • Aplica aprendizaje contrastivo basado en la jerarquía.
   • Asegura que las representaciones de conocimiento de muestras con la misma etiqueta en una capa $l$ sean más similares entre sí que con muestras de etiquetas diferentes.
3. Pérdida de Aprendizaje Contrastivo de Hermanos (Sibling Contrastive Learning - SCL):
   • El núcleo de la innovación. Utiliza verbalizers (mapeo de tokens a etiquetas) para generar ejemplos negativos difíciles (hard negatives).
   • Selecciona las etiquetas hermanas con mayor probabilidad de predicción (excluyendo la verdadera) como negativos duros.
   • Obliga al modelo a maximizar la distancia entre la etiqueta verdadera y sus hermanas más confusas, resolviendo la ambigüedad semántica.
4. Pérdida MLM (Masked Language Modeling): Conserva la capacidad de pre-entrenamiento de BERT.

3. Contribuciones Clave

1. Método de Aprendizaje Contrastivo Jerárquico: Propone un nuevo enfoque basado en prompt tuning que integra explícitamente el conocimiento del Grafo de Conocimiento (KG) para enriquecer las representaciones en entornos de pocos datos.
2. Mecanismo de Diferenciación de Hermanos: Introduce una pérdida contrastiva específica para etiquetas hermanas que utiliza hard negative mining para forzar al modelo a aprender distinciones sutiles entre clases semánticamente similares, un problema no resuelto adecuadamente por métodos anteriores.
3. Validación Exhaustiva: Demuestra la eficacia del método en múltiples conjuntos de datos estándar, superando a los métodos más avanzados (SOTA) actuales.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos de referencia: WOS (single-path), DBpedia (single-path) y RCV1-V2 (multi-path), bajo configuraciones de pocos ejemplos (1, 2, 4, 8, 16 shots).

• Rendimiento General: SCHK-HTC superó consistentemente a los métodos SOTA (HierVerb, DCL, HPT) en la mayoría de las configuraciones de k-shot, logrando mejoras significativas en las métricas Macro-F1 y Micro-F1.
  • Ejemplo: En WOS (16 shots), SCHK-HTC alcanzó un Micro-F1 de 81.31% frente al 80.66% de DCL y 80.35% de HierVerb.
• Análisis de Niveles Profundos: La mejora más notable se observó en la clasificación de los niveles más profundos de la jerarquía (donde las clases son más similares), demostrando una capacidad superior para resolver la ambigüedad entre hermanos.
• Visualización (t-SNE): Las proyecciones de las representaciones de las etiquetas muestran que SCHK-HTC genera límites de clusters más definidos y menos superpuestos en comparación con HierVerb, especialmente para clases difíciles.
• Estudio de Ablación:
  • La eliminación de la pérdida SCL causó la mayor caída de rendimiento, confirmando su importancia crítica para distinguir clases hermanas.
  • La eliminación del HK-Encoder o la pérdida KH-InfoNCE también degradó el rendimiento, validando la necesidad del conocimiento estructurado y las restricciones jerárquicas.

5. Significado e Impacto

Este trabajo aborda una brecha fundamental en la clasificación de texto jerárquico con pocos datos: la incapacidad de los modelos para distinguir entre categorías muy similares cuando los datos son escasos.

• Innovación Técnica: Al integrar explícitamente el conocimiento de dominio (vía KG) y un mecanismo de contraste específico para "hermanos", el modelo aprende representaciones más discriminativas sin depender de grandes volúmenes de datos o de modelos masivos costosos.
• Aplicabilidad: Ofrece una solución robusta para escenarios del mundo real (como categorización de noticias o clasificación de papers académicos) donde las etiquetas finas son críticas pero los datos etiquetados son limitados.
• Eficiencia: A diferencia de las soluciones basadas en LLMs masivos, SCHK-HTC es eficiente en términos de parámetros y computación, siendo viable para su implementación en sistemas con recursos limitados.

En conclusión, SCHK-HTC establece un nuevo estado del arte al demostrar que la combinación de conocimiento estructurado jerárquico y aprendizaje contrastivo enfocado en la ambigüedad de clases hermanas es la clave para resolver la HTC en condiciones de escasez de datos.