Do LLM Embedding Spaces Recover Expert Structure?

Resumen Técnico: ¿Recuperan los espacios de incrustación de los LLM la estructura de expertos?

Planteamiento del problema
Las incrustaciones (embeddings) de texto preentrenadas se utilizan cada vez más como mapas representacionales donde las distancias geométricas entre textos se comparan con estructuras conceptuales especificadas de forma independiente. Sin embargo, una alta separabilidad de categorías (por ejemplo, la capacidad de clasificar comunidades) no implica necesariamente que la geometría de la incrustación recupere relaciones semánticas finas definidas por expertos. Este problema es agudo en el lenguaje de la salud mental, donde las categorías exhiben solapamiento de síntomas y límites graduales, proporcionando una referencia externa de expertos. No obstante, las comunidades en línea introducen confusiones no clínicas fuertes, incluyendo la jerga específica de subreddits, normas estilísticas y divisiones de dominio amplias (salud mental frente a control). Un modelo puede agrupar comunidades con éxito basándose en estas señales distributivas gruesas sin codificar las relaciones de nivel de síntoma subyacentes que definen la estructura de experto. El artículo investiga si los espacios de incrustación de los LLM recuperan la estructura de síntomas definida por expertos más allá de la separación de dominios gruesos y cómo la supervisión específica de la tarea y la escala del modelo influyen en esta geometría.

Metodología
El estudio utiliza un conjunto de datos de 28 comunidades de Reddit (17 específicas de salud mental, 11 de control) que abarcan el periodo 2018–2020. Los autores comparan espacios de incrustación preentrenados y con ajuste fino supervisado utilizando dos escalas de modelos: Qwen3-Embedding-0.6B y Qwen3-Embedding-4B.

El marco de evaluación emplea tres análisis complementarios:

1. Análisis de Similitud Representacional (RSA): Los autores construyen prototipos de categoría promediando las incrustaciones de los documentos. Generan una Matriz de Disimilitud Representacional (RDM) basada en distancias de coseno entre estos prototipos. Esta RDM derivada del modelo se compara con dos matrices de referencia: una matriz de síntomas derivada de expertos (basada en distancias de Jaccard de perfiles de síntomas binarios) y una matriz de dominio-control. El RSA se calcula como la correlación de rango de Spearman entre las entradas del triángulo superior de estas matrices.
2. Tipicidad Basada en Prototipos y Análisis de Frontera: Para examinar la estructura local, los autores calculan la tipicidad del documento (distancia al prototipo de la categoría) y los márgenes de los prototipos. Definen una "puntuación de alineación de frontera" ($\Delta_{align}$) para medir si la ambigüedad de frontera residual se concentra entre pares de categorías vecinos de expertos (aquellos con alto solapamiento de síntomas) frente a pares de no vecinos.
3. Controles de Confusión de Línea Base Múltiple: Para asegurar que la alineación no sea impulsada por señales no clínicas, los autores controlan cuatro líneas base: puntuaciones afectivas de Valencia-Arousal-Dominancia (VAD), categorías lingüísticas de LIWC, características de estilo léxico y estructuras de distribución de temas (vía Modelos de Temas Incrustados).

Resultados Clave

• Recuperación de la Estructura de Experto: Las incrustaciones preentrenadas muestran una alineación mensurable con la estructura de síntomas definida por expertos dentro del subconjunto de salud mental, incluso sin supervisión. Esta alineación es significativamente más fuerte de lo que se esperaría de la separación de dominios gruesos por sí sola.
• Impacto de la Supervisión: El ajuste fino supervisado fortalece la alineación con la estructura de experto, observándose las ganancias más significativas en el nivel de categoría más fino (dentro del subconjunto de salud mental). El ajuste fino no solo aumenta la separabilidad global; reconfigura la geometría para reducir la ambigüedad "fuera de la estructura" mientras concentra la incertidumbre residual entre los pares de vecinos de expertos.
• Efectos de la Escala del Modelo: Escalas de modelos más grandes (4B frente a 0.6B) mejoran tanto la alineación zero-shot como las ganancias inducidas por la supervisión. El modelo 4B logra puntuaciones de RSA más altas y muestra una reducción más pronunciada en las asociaciones con las líneas base no clínicas.
• Robustez ante Confusiones: La alineación observada persiste incluso después de controlar por VAD, LIWC, estilo léxico y distribuciones de temas. Aunque las líneas base ricas en contenido (como las distribuciones de temas) explican una parte de la alineación, una cantidad sustancial de alineación residual con la estructura de experto permanece, lo que sugiere que la geometría captura más que solo regularidades afectivas o de discurso.
• Organización Local: El ajuste fino reduce la ambigüedad difusa de la frontera. Los temas asociados con la desdibujación de fronteras en los modelos zero-shot (narrativas afectivas compartidas) se vuelven más nítidos en los modelos ajustados con precisión fina, los cuales exhiben campos léxicos más concentrados y específicos de cada categoría.

Significancia y Reivindicaciones
El artículo argumenta que las incrustaciones de los LLM pueden recuperar la geometría de categorías relevante para los expertos, pero esta recuperación es parcial, dependiente del nivel y está moldeada por la supervisión y la escala. Los autores advierten que el rendimiento de la clasificación por sí solo es insuficiente para inferir la estructura semántica; son necesarios controles explícitos para las confusiones y análisis estratificados por niveles.

Las contribuciones clave incluyen:

• Un marco de nivel de representación que combina RSA, tipicidad basada en prototipos y controles de confusión de línea base múltiple para probar la recuperación de la estructura de experto más allá de la separación de dominios.
• Evidencia empírica de un patrón dependiente del nivel donde los modelos preentrenados codifican la organización a nivel de síntoma, y la supervisión amplifica esta alineación de manera más efectiva en la granularidad más fina.
• Demostración de que las escalas mayores y la supervisión reducen conjuntamente las asociaciones con las líneas base no clínicas, produciendo una geometría más específica de la categoría.

Limitaciones
Los autores señalan explícitamente que su referencia de experto es un benchmark estructurado para la comparación a nivel de categoría, no una ontología diagnóstica clínica capaz de capturar la severidad o comorbilidad a nivel individual. Los hallazgos apoyan una afirmación limitada: las incrustaciones preentrenadas contienen señales organizativas significativas pero incompletas, que la supervisión fortalece. El estudio está limitado a una familia de modelos específica y un conjunto de datos específico; la generalizabilidad a través de arquitecturas y fuentes de lenguaje menos específicas de la comunidad sigue siendo una pregunta abierta. Además, los análisis basados en temas son interpretativos más que causales.