💬 NLP

Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery

El artículo propone Conceptos Latentes Cuantizados Vectorialmente (VQLC), un marco escalable que aprende conceptos latentes discretos e interpretables a partir de estados ocultos de LLM congelados, ofreciendo una eficiencia computacional comparable a K-Means mientras logra la coherencia semántica del agrupamiento jerárquico.

Autores originales: Xuemin Yu, Ankur Garg, Samira Ebrahimi Kahou, Hassan Sajjad

Publicado 2026-06-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xuemin Yu, Ankur Garg, Samira Ebrahimi Kahou, Hassan Sajjad

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante e increíblemente inteligente (un Modelo de Lenguaje Extenso, o LLM) que puede escribir historias, responder preguntas y resolver problemas. Pero hay un truco: los libros dentro están escritos en un código secreto. Puedes ver las palabras en la página, pero no sabes por qué el bibliotecario eligió esas palabras específicas para responder a tu pregunta.

Durante mucho tiempo, los científicos intentaron descifrar la lógica del bibliotecario observando palabras individuales (tokens). Es como intentar entender una película mirando fotogramas individuales. Ves a los actores, pero te pierdes la trama.

Otros científicos intentaron agrupar estas palabras en "conceptos" (como agrupar todas las palabras sobre "deportes" o "política") para obtener una imagen más completa. Pero se toparon con un muro:

El método del "Súper-Organizador" (Clustering Jerárquico) era excelente para encontrar grupos perfectos, pero era tan lento y consumía tanta memoria que solo podía manejar una biblioteca diminuta. Si intentabas usarlo en una biblioteca masiva, se bloqueaba.
El método de "Orden Rápido" (K-Means) era rápido y podía manejar bibliotecas enormes, pero los grupos que creaba eran a menudo desordenados y no tenían mucho sentido semántico.

Entra VQLC: El "Archivo Digital"

Los autores de este artículo proponen un nuevo método llamado VQLC (Concepto Latente Cuantizado Vectorialmente). Piensa en esto como construir un archivo digital súper eficiente para el código secreto de la biblioteca.

Así es como funciona, usando una analogía simple:

1. El Archivo (El Libro de Códigos)

Imagina que tienes un archivador con 400 cajones (este es el "libro de códigos"). Cada cajón representa un "concepto" o idea específica, como "Béisbol", "Precios del Petróleo" o "Comentarios Tóxicos".

2. Clasificando el Correo (Cuantización Vectorial)

Cuando la biblioteca procesa una oración, convierte cada palabra en un punto de datos complejo. En lugar de intentar comparar cada palabra con cada otra palabra (lo cual es lento), VQLC toma cada palabra y pregunta: "¿En cuál de mis 400 cajones encaja mejor esta palabra?"

Es como un clasificador de correo que instantáneamente deja una carta en el contenedor correcto basándose en un código postal. Este proceso es increíblemente rápido y no requiere una cantidad masiva de memoria, sin importar cuántas letras (palabras) tengas.

3. Aprendiendo las Etiquetas (Entrenamiento)

Al principio, los cajones están vacíos y las etiquetas son incorrectas. El sistema lee millones de oraciones y aprende a ajustar las etiquetas.

Si ve las palabras "Sheffield", "Ramirez" y "Jeter", se da cuenta de que todas pertenecen al cajón de "Jugadores de Béisbol".
Si ve "PIB", "Petróleo" y "Ganancias", las pone en el cajón de "Indicadores de Mercado".

El sistema utiliza un truco de "reconstrucción": intenta reconstruir la oración original partiendo solo de las etiquetas de los cajones. Si puede reconstruir la oración bien, sabe que puso las palabras en los cajones correctos.

4. El Resultado: Una Explicación Clara

Una vez entrenado el sistema, puedes preguntarle: "¿Por qué el modelo predijo que esta noticia trata sobre Negocios?"
En lugar de mostrarte una lista desordenada de palabras, VQLC señala los cajones específicos que utilizó: "Ah, utilizó el cajón de 'Indicadores de Mercado' porque vio palabras sobre precios del petróleo y el PIB".

¿Por qué es esto importante?

Los autores probaron este nuevo "archivador" contra los métodos antiguos en 12 escenarios diferentes (usando distintos modelos y conjuntos de datos). Esto es lo que encontraron:

Velocidad y Tamaño: A diferencia del método del "Súper-Organizador", VQLC no se bloquea cuando la biblioteca se vuelve enorme. Utiliza muy poca memoria, casi tanto como el método de "Orden Rápido".
Calidad: A diferencia de los grupos desordenados del "Orden Rápido", los cajones de VQLC son muy claros y tienen sentido.
El Punto Medio Ideal: VQLC encontró el equilibrio perfecto. Es tan rápido como los métodos baratos, pero tan inteligente como los costosos.
Modelos Decodificadores: Los autores señalaron que este método funciona especialmente bien en modelos de "solo decodificación" (el tipo de modelos usados para chatbots como los que usamos hoy), donde encontró los conceptos más claros.

La Conclusión

El artículo afirma que VQLC es una forma escalable y eficiente de abrir la "caja negra" de la IA. Convierte las matemáticas confusas y de alta dimensión dentro de un modelo en un conjunto ordenado de conceptos comprensibles, permitiéndonos ver exactamente qué ideas está utilizando la IA para tomar sus decisiones, sin necesidad de una supercomputadora para realizar los cálculos.

Nota: El artículo se centra estrictamente en interpretar cómo funcionan estos modelos (como explicar por qué un clasificador de noticias eligió "Negocios"). No pretende que este método se utilice actualmente para el diagnóstico clínico, la toma de decisiones legales u otras aplicaciones específicas del mundo real más allá de comprender la lógica interna del modelo.

Resumen Técnico: Conceptos Latentes de Cuantización Vectorial (VQLC)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) codifican información semántica rica dentro de sus estados ocultos, sin embargo, interpretar estas representaciones internas sigue siendo un desafío. Mientras que los métodos de atribución a nivel de token (por ejemplo, Gradientes Integrados, SHAP) identifican tokens de entrada salientes, ofrecen una visión limitada de las estructuras semánticas de alto nivel codificadas en el modelo. El descubrimiento de conceptos latentes busca abordar esto agrupando representaciones contextuales en conceptos discretos e interpretables. Sin embargo, los enfoques existentes enfrentan un compromiso fundamental entre escalabilidad y calidad del concepto:

Agrupamiento Jerárquico (por ejemplo, LACOAT): Produce conceptos coherentes pero sufre de costos de memoria cuadráticos ( $O(N^2)$ ), lo que limita su aplicación a conjuntos de datos pequeños.
K-Means Clustering: Escala eficientemente pero a menudo genera conceptos menos coherentes semánticamente y proporciona un compromiso más débil entre escalabilidad y fidelidad.

El artículo postula que se necesita un método que mantenga la escalabilidad de los métodos basados en centroides mientras logra la coherencia semántica del agrupamiento jerárquico, específicamente para LLMs de gran escala.

Metodología: Conceptos Latentes de Cuantización Vectorial (VQLC)

Los autores proponen VQLC, un marco de aprendizaje de conceptos discretos que adapta la Cuantización Vectorial (VQ) para mapear estados ocultos continuos a un conjunto finito de códigos aprendidos. El marco opera sobre estados ocultos congelados extraídos de una capa específica de un LLM.

Componentes de la Arquitectura:

Codificador (Encoder): Un MLP (Perceptrón Multicapa) residual ligero mapea las representaciones de tokens contextuales ( $h^{(\ell)}_{w_i}$ ) hacia un espacio de códigos. Combina una proyección lineal directa con una rama de corrección no lineal para preservar el espacio original del modelo permitiendo al mismo tiempo una asignación estable.
Cuantizador Vectorial (Vector Quantizer): Este módulo mantiene un libro de códigos (codebook) aprendible $E = \{e_1, \dots, e_K\}$ $E = {e_{1}, \dots, e_{K}}$ . Cada representación codificada se asigna al vector del libro de códigos más cercano basado en la distancia euclidiana al cuadrado.
- Inicialización: El libro de códigos se inicializa utilizando un recorrido de "primera trayectoria más lejana" (farthest-first traversal) en representaciones de entrenamiento desduplicadas para asegurar una cobertura diversa del espacio de representación.
- Aprendizaje: El libro de códigos se actualiza utilizando un Promedio Móvil Exponencial (EMA) de las salidas del codificador asignadas, en lugar de pasos de gradiente directo, para asegurar la estabilidad. Un mecanismo de "recuperación de códigos muertos" reinicializa los códigos no utilizados utilizando las salidas del codificador con los errores de asignación más grandes.
Decodificador (Decoder): Un decodificador residual reconstruye los estados ocultos originales a partir de los vectores cuantizados. El objetivo de entrenamiento minimiza la pérdida de reconstrucción ( $L_{rec}$ ) y una pérdida de compromiso ( $L_{commit}$ ) para mantener las salidas del codificador cerca de sus vectores de libro de códigos asignados.

Construcción de Conceptos:
Después del entrenamiento, el modelo se congela. Una pasada de construcción de conceptos agrega todas las representaciones de tokens codificadas asignadas al mismo índice de código $k$ para formar un vector de concepto $v_k$ . Un concepto latente $c_k$ se define como el par $(v_k, \text{tokens asignados})$ . En la inferencia, las nuevas representaciones de tokens se asignan al libro de códigos aprendido, y los conceptos correspondientes explican la información semántica codificada en esas representaciones.

Contribuciones Clave

Aprendizaje Discreto Escalable: VQLC introduce un marco de cuantización vectorial para el descubrimiento de conceptos latentes que evita la dependencia de memoria cuadrática del agrupamiento jerárquico.
Compromiso Optimizado: El método logra un equilibrio favorable entre fidelidad (calidad del concepto) y escalabilidad, manteniendo un uso de memoria casi constante a medida que aumenta el tamaño del conjunto de datos.
Evaluación Exhaustiva: El artículo proporciona una evaluación multifacética a través de 12 configuraciones de dataset-modelo, incluyendo:
- Escalabilidad: Análisis de tiempo de ejecución y memoria.
- Fidelidad: Medida por el cambio en la confianza del modelo y las etiquetas de predicción tras ablar la dirección del concepto mediante proyección ortogonal.
- LLM-as-a-Judge: Evaluación utilizando múltiples LLMs (Claude, Gemini, DeepSeek) para clasificar la alineación del concepto con las predicciones del modelo.
- Análisis Cualitativo: Visualización de nubes de palabras de conceptos y estudios de caso.
- Comparación con SAEs: Contraste con Autoencoders Esparsos (SAEs) para resaltar las diferencias entre explicaciones de nivel de característica y de nivel de concepto.

Resultados

Escalabilidad: En el dataset ERASER con el modelo Qwen, VQLC escala linealmente con el conteo de tokens. Mientras que el uso de memoria de K-Means creció de 1.8GB a 17.5GB y LACOAT falló a los 200k tokens (requiriendo ~229GB), VQLC se mantuvo casi constante, aumentando solo de 1.94GB a 2.54GB a los 500k tokens.
Fidelidad: VQLC logró el mayor cambio de confianza media en 6 de 12 configuraciones de dataset-modelo. Demostró las ganancias más claras en modelos solo-decodificadores (Llama-2, Qwen), superando a las líneas base en 5 de 6 configuraciones de decodificador, mientras se mantuvo competitivo con K-Means y LACOAT en modelos basados en codificador (RoBERTa).
Evaluación de LLM: En las clasificaciones de LLM-as-a-judge, VQLC logró el mejor rango promedio en 8 de 12 configuraciones, sugiriendo que sus conceptos están más alineados con las tareas que los de K-Means o LACOAT.
Comparación con SAEs: A diferencia de los SAEs, que producen un gran número de características esparsas con tasas de activación bajas, VQLC genera un conjunto más pequeño de conceptos (ej., ~400) que están activos en una fracción significativamente mayor de ejemplos de prueba. Se encontró que los conceptos de VQLC codifican más información relevante para la tarea en la configuración del modelo Qwen.
Hallazgos Cualitativos: Las visualizaciones mostraron que los conceptos de VQLC eran semánticamente coherentes (ej., clusters distintos para "Jugadores de Béisbol" vs. "Fútbol" en Deportes, o "Medicamentos Clínicos" vs. "Infraestructura de Red" en Ciencia/Tecnología). En los estudios de caso, VCLC proporcionó explicaciones más precisas para las predicciones del modelo en comparación con los clusters más amplios de K-Means o LACOAT.

Significancia y Reivindicaciones

El artículo afirma que VQLC ofrece una alternativa práctica y escalable al descubrimiento de conceptos basado en agrupamiento para LLMs. Aborda con éxito el cuello de botella de memoria del agrupamiento jerárquico sin sacrificar la coherencia semántica de los conceptos descubiertos. Los autores enfatizan que VQLC es particularmente efectivo para modelos solo-decodificadores, donde identifica direcciones de conceptos más relevantes para la tarea que las líneas base existentes.

El trabajo posiciona a VQLC no como un reemplazo para las herramientas de interpretabilidad mecánica como los SAEs, sino como un enfoque complementario que organiza las representaciones en conceptos latentes de nivel de tarea en lugar de características monosemánticas. Los autores señalan limitaciones, incluyendo la sensibilidad del marco a los hiperparámetros (tamaño del libro de códigos, peso de compromiso) y el enfoque actual en tareas de clasificación, sugiriendo que extender este enfoque al razonamiento generativo token por token es una dirección para el trabajo futuro.