ProtoSiTex: Learning Semi-Interpretable Prototypes for Multi-label Text Classification

Resumen Técnico: ProtoSiTex

Enunciado del Problema
La rápida proliferación de texto generado por usuarios exige modelos capaces de clasificación multietiqueta de granularidad fina con interpretabilidad inherente. Aunque los modelos de lenguaje basados en transformadores logran un rendimiento de vanguardia, operan como "cajas negras", ofreciendo una transparencia limitada. Los métodos de explicación post-hoc existentes (por ejemplo, LIME, SHAP) a menudo carecen de fidelidad y consistencia. Por el contrario, las Redes Basadas en Prototipos (PBN) inherentemente interpretables suelen operar con granularidades gruesas (nivel de oración o documento) y están mayormente restringidas a tareas de etiqueta única. Esta limitación les impide manejar escenarios del mundo real donde los textos contienen sentimientos superpuestos, conflictivos o multifacéticos (por ejemplo, una reseña que elogia la vista pero critica al personal). Además, existe una escasez de conjuntos de datos que proporcionen anotaciones multietiqueta a nivel de subsentencia, lo que dificulta la evaluación de la interpretabilidad de granularidad fina.

Metodología: ProtoSiTex
Los autores proponen ProtoSiTex, un marco seminterpretable diseñado para la clasificación multietiqueta de texto de granularidad fina. El término "seminterpretable" denota un modelo que proporciona explicaciones basadas en prototipos fieles para sus predicciones, mientras que depende de mecanismos neuronales latentes (por ejemplo, atención, incrustaciones) que no son totalmente transparentes. La arquitectura consta de tres etapas principales:

1. Representación de Subsenteencia: El documento de entrada se segmenta en oraciones y posteriormente en subsenteencias utilizando señales de puntuación. Un codificador de modelo de lenguaje (específicamente RoBERTa-Large en los experimentos) genera incrustaciones conscientes del contexto para estas subsentencias.
2. Entrenamiento Alternado de Dos Fases: El modelo emplea una estrategia de entrenamiento única que alterna entre dos fases:
   • Descubrimiento de Prototipos No Supervisado (Fase de Agrupamiento): Una capa de prototipos aprendible, acoplada con Atención Multi-Cabeza (MHA), descubre prototipos semánticamente coherentes y diversos. Esta fase utiliza pérdidas basadas en proximidad (asegurando que las subsentencias se alineen con los prototipos más cercanos) y pérdidas de regularización estructural (imponiendo dispersión y diversidad entre los prototipos) para evitar el colapso y la redundancia de prototipos.
   • Clasificación Supervisada: Los prototipos descubiertos se mapean a etiquetas de clase. Esta fase utiliza una función de pérdida jerárquica que impone consistencia a través de tres niveles: subsentencia, oración y documento. Construye dinámicamente etiquetas de verdad fundamental a nivel de prototipo agregando etiquetas de subsentencia y propaga las predicciones hacia arriba a través de matrices de mapeo binario ($M_1$ para documento-a-oración, $M_2$ para oración-a-subsentencia).
3. Inferencia y Explicación: Durante la inferencia, el modelo predice etiquetas a nivel de documento mediante agregación jerárquica. Crucialmente, genera explicaciones vinculando cada subsentencia a su prototipo más cercano y recuperando las $K$ subsentencias de entrenamiento más similares asociadas a ese prototipo. Estos ejemplos se resumen (utilizando un LLM) para proporcionar justificaciones legibles por humanos para la predicción.

Contribuciones Clave

1. Marco Seminterpretable: ProtoSiTex es el primer marco basado en prototipos que realiza clasificación multietiqueta de granularidad fina a nivel de subsentencia. Utiliza prototipos adaptativos y atención multi-cabeza para desentrañar semánticas superpuestas y conflictivas, una capacidad ausente en PBNs anteriores.
2. Optimización de Dos Fases y Supervisión Jerárquica: La estrategia de entrenamiento alternado propuesta desacopla el descubrimiento de prototipos no supervisado de la clasificación supervisada, mejorando la generalización y reduciendo el sobreajuste. La función de pérdida jerárquica asegura la consistencia semántica a través de granularidades, permitiendo la propagación estructurada de etiquetas.
3. Nuevo Conjunto de Datos de Referencia (HR): Los autores introducen un conjunto de datos de Reseñas de Hoteles (HR) que contiene 3.002 reseñas anotadas a nivel de subsentencia con 8 aspectos multietiqueta (por ejemplo, Habitación y Servicios, Comida, Ubicación). Este conjunto de datos incluye segmentos de verdad fundamental para la evaluación de la interpretabilidad, abordando una brecha en las referencias existentes.
4. Agregación Semántica Adaptativa: El modelo establece una alineación explícita entre la evidencia de subsentencia, los prototipos adaptativos y las predicciones de documento mediante agregación diferenciable, facilitando explicaciones rastreables sin sacrificar el rendimiento predictivo.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos HR propuesto, así como en referencias públicas: IMDb (sentimiento binario) y TweetEVAL (emoción multiclase).

• Rendimiento: ProtoSiTex logró un rendimiento de vanguardia en todos los conjuntos de datos. En el conjunto de datos HR, obtuvo una puntuación Macro-F1 de 87,22% y una Precisión Equilibrada de 83,68%, superando a fuertes líneas base de cajas negras (por ejemplo, RoBERTa-Large, DeBERTaV3) y a modelos basados en prototipos existentes (por ejemplo, GAProtoNet, ProtoLens).
• Comparación: Aunque igualó la precisión de los grandes transformadores de caja negra en tareas más simples (IMDb), ProtoSiTex los superó significativamente en el conjunto de datos complejo y multietiqueta HR. También superó a los LLM de código cerrado y abierto (por ejemplo, GPT, LLaMA) en configuraciones multietiqueta, demostrando un manejo superior de las dependencias de etiquetas y la semántica de granularidad fina.
• Estudios de Ablación: Los análisis confirmaron que el entrenamiento alternado de dos fases, la atención multi-cabeza para la similitud y la inicialización aleatoria de prototipos fueron críticos para el rendimiento. El estudio también señaló que los codificadores basados en máscaras (como RoBERTa) fueron más efectivos que los modelos autoregresivos para esta arquitectura específica debido a su contexto bidireccional y espacios de incrustación densos.

Significado y Afirmaciones
El artículo afirma que ProtoSiTex establece una solución robusta para la clasificación multietiqueta de texto seminterpretable. Su significado principal radica en cerrar la brecha entre la precisión predictiva y la interpretabilidad en escenarios complejos del mundo real. Al operar a nivel de subsentencia, el modelo puede explicar fielmente por qué se asignó una etiqueta específica, incluso cuando existen múltiples sentimientos conflictivos dentro de un solo documento. Los autores afirman que el marco ofrece "explicaciones fieles y alineadas con el humano" mientras mantiene un rendimiento competitivo, lo que lo hace adecuado para aplicaciones que requieren confianza, equidad y cumplimiento normativo. La introducción del conjunto de datos HR se destaca como una contribución crítica para habilitar la evaluación empírica de modelos multietiqueta interpretables de granularidad fina.