Resumen Técnico: Más allá de la precisión: Interpretación de la representación de temas en modelos de detección de ideación suicida

Declaración del problema

Los modelos de detección de ideación suicida se evalúan típicamente mediante métricas de rendimiento agregadas (p. ej., precisión, puntuación F1), sin embargo, sus representaciones internas de factores de riesgo psicológicamente significativos siguen siendo en gran medida opacas. En aplicaciones de salud mental de alto riesgo, esta falta de interpretabilidad dificulta la identificación de correlaciones espurias, la auditoría de las representaciones aprendidas y la garantía de un despliegue seguro.

La investigación actual indica que los conjuntos de datos existentes suelen sufrir de un desequilibrio de temas: los factores de riesgo comunes (p. ej., depresión, ansiedad) están sobrerrepresentados, mientras que otros (p. ej., inmigración, crisis financiera) están subrepresentados o ausentes. Este desequilibrio puede llevar a que los clasificadores desarrollen relaciones causales falsas con conceptos sobrerrepresentados o se vuelvan menos sensibles a temas poco comunes. En consecuencia, los modelos pueden fallar al no formar representaciones internas claras y distintas para todos los factores de riesgo psicológicos, ya sea entrelazándolos con características no relacionadas (polisemanticidad) o fallando por completo en capturarlos.

El artículo aborda dos preguntas de investigación primarias:

1. ¿Cómo se representan los factores de riesgo psicológico dentro del espacio de activación interna de los modelos de lenguaje entrenados para la detección de la ideación suicida?
2. ¿Mejora el aumento de datos sintéticos consciente de los temas la claridad, la separabilidad y la especialización de estas representaciones de factores de riesgo?

Metodología

El estudio desplaza el enfoque de los resultados del modelo hacia sus representaciones internas, específicamente los vectores de activación intermedia en el flujo residual (residual stream). La metodología emplea un enfoque de interpretabilidad mecánica basado en la hipótesis de la representación lineal y la hipótesis de la superposición.

1. Datos y Modelos

• Conjuntos de datos: El análisis utiliza el conjunto de datos de Suicidabilidad de Reddit de la Universidad de Maryland (UMD) como base. Se construye un segundo conjunto de datos utilizando aumento consciente de temas, donde se generan publicaciones sintéticas relacionadas con el suicidio mediante Modelos de Lenguaje de Gran Escala (LLM) y se combinan con subconj sets de los datos originales de UMD para equilibrar la cobertura de temas.
• Modelo base: Un modelo ALBERT-base-V2 es ajustado finamente (fine-tuned) por separado en el conjunto de datos UMD original y en el conjunto de datos aumentado. Se elige ALBERT por su arquitectura compacta y sus representaciones estables en el flujo residual.

2. Aprendizaje de Diccionarios mediante Autoencoders Dispersos (SAE)

Para descubrir direcciones de características interpretables, los autores entrenan autoencoders dispersos sobrecompletos sobre las activaciones del flujo residual a nivel de token de los modelos ALBERT ajustados.

• Arquitectura: El SAE utiliza un diccionario sobrecompleto donde el número de características latentes ($F=4096$) supera significativamente la dimensión de entrada ($D=768$). Este diseño tiene como objetivo desenredar las características que están superpuestas en las activaciones densas del modelo.
• Mecanismo: El SAE descompone los vectores de activación en combinaciones lineales dispersas de direcciones de base aprendidas (vectores del decodificador). Cada dirección representa una característica potencial, y la salida del codificador indica la fuerza de activación de esa característica para un token dado.
• Mapeo Característica-Tema: Las características se asignan a un "tema dominante" basándose en la activación promedio de la característica a través de publicaciones etiquetadas con temas psicológicos específicos (p. ej., "Problemas Familiares", "Inmigración").

3. Técnicas de Análisis

Se utilizan dos métodos complementarios para evaluar la estructura e interpretabilidad de las características aprendidas:

• Visualización UMAP: Se aplica la Proyección de Aproximación de Variedad Uniforme (UMAP) a los vectores del decodificador normalizados para visualizar la organización geométrica de las direcciones de las características en 2D. Esto permite la evaluación cualitativa de si las características asociadas con el mismo tema forman grupos coherentes y compactos (indicando monosemanticidad) o si están dispersas (indicando polisemanticidad).
• Distancia de Coseno para la Separabilidad: Se introduce una métrica cuantitativa para medir la separación angular entre el vector de activación media de un conjunto de concepto (publicaciones con un tema específico) y una línea base de no-concepto (publicaciones de Reddit no relacionadas).
  • Las activaciones a nivel de token se agregan al nivel de publicación mediante max-pooling para preservar las señales salientes.
  • Los vectores de características a nivel de publicación se promedian para crear vectores medios para los conjuntos de concepto y de no-concepto.
  • Se calcula la distancia de coseno ($d_{cos}$) entre estos promedios. Una mayor distancia indica que el modelo codifica el concepto en una dirección distinta de los textos no relacionados, lo que significa una mayor claridad representacional.

Resultados Clave

1. Visualización de Características Latentes (UMAP)

Las proyecciones UMAP revelan diferencias distintivas entre los modelos entrenados con los datos originales de UMD frente a los datos aumentados:

• Modelo UMD: Las características asociadas con temas subrepresentados (p. ej., inmigración, perfeccionismo) aparecen como puntos dispersos y escasos, lo que sugiere una cobertura de temas limitada y una fuerte superposición (características que responden a múltiples fenómenos).
• Modelo Aumentado (AUG): Los mismos temas exhiben un mayor número de direcciones de características resaltadas que forman grupos compactos y coherentes. Esto indica un cambio hacia la monosemanticidad, donde direcciones de características específicas responden de manera más selectiva a conceptos psicológicos objetivo.
• Interpretación: El aumento consciente de temas incrementa la disponibilidad y la consistencia de las direcciones selectivas de temas en el espacio latente, reduciendo el entrelazamiento para los factores de riesgo subrepresentados.

2. Separabilidad Cuantitativa (Distancia de Coseno)

La Tabla 1 del artículo resume la distancia de coseno entre las medias de los temas y la línea base de no-concepto.

• Mejoras Significativas: El aumento conduce a incrementos sustanciales en la separación direccional para varios temas clave. Las mayores ganancias se observan en Problemas de Relación (+0.334), Crisis Financiera (+0.310) y Problemas Familiares (+0.266).
• Mejoras Generales: Se observan mejoras constantes (aprox. +0.18 a +0.22) en Ansiedad, Racismo, Ira, Bullying e Inmigración.
• Excepciones:
  • Desesperanza (Hopelessness): Muestra una ligera disminución (-0.017), probablemente debido al fuerte solapamiento semántico con otros factores de riesgo (p. ej., depresión), lo que limita su capacidad para ser separada como una dirección independiente.
  • Desempleo: Muestra una disminución (-0.079), pero esto se atribuye a un "efecto de techo", ya que el tema ya exhibía una separación muy alta en ambos modelos (0.82–0.90).

Contribuciones Principales

El artículo realiza tres contribuciones principales al campo de la interpretabilidad de NLP en salud mental:

1. Análisis Mecánico: Va más allá de las métricas de rendimiento para analizar el espacio de activación interna de los modelos de detección de suicidio utilizando autoencoders dispersos sobrecompletos para extraer direcciones de características interpretables.
2. Análisis de Especialización de Características: A través de visualizaciones UMAP y análisis de muestras de máxima activación, demuestra que el aumento consciente de temas conduce a representaciones más estructuradas donde las características específicas se alinean con temas psicosociales distintos, formando grupos coherentes.
3. Marco de Separabilidad Geométrica: Introduce un marco cuantitativo utilizando la distancia de coseno para medir la claridad de la representación de conceptos psicológicos, demostando cómo el aumento remodela la estructura de características interna para mejorar el aislamiento de los factores de riesgo.

Significado y Afirmaciones

Los autores afirman que sus hallazgos sugieren que el aumento consciente de temas hace más que simplemente mejorar el rendimiento de la clasificación; altera fundamentalmente la geometría interna del modelo para que sea más interpretable y robusto.

• Representaciones Estructuradas: El aumento ayuda al modelo a formar representaciones internas más claras y distintas para los factores de riesgo psicosociales subrepresentados (p. ej., inmigración, problemas familiares), reduciendo la dependencia de correlaciones espurias con conceptos sobrerrepresentados.
• Seguridad y Transparencia: Al promover la monosemanticidad para factores de riesgo específicos, los modelos se vuelven más transparentes. Esto permite una mejor auditoría de aquello que el modelo está "buscando" y respalda un despliegue más seguro y responsable en contextos de salud mental de alto riesgo.
• Polisemicidad Matizada: El artículo señala que, si bien la monosemanticidad es deseable para la claridad, cierta polisemicidad (características compartidas) es natural y beneficiosa para conceptos que se solapan. El objetivo del aumento no es eliminar todo el solapamiento, sino reducir la interferencia dañina donde el contenido no relacionado activa las mismas señales de riesgo.

El estudio concluye que comprender la estructura geométrica de las representaciones aprendidas es esencial para diagnosticar brechas en la cobertura de temas y asegurar que los modelos de detección de suicidio generalicen efectivamente a través de diversos contextos psicológicos.