Resumen Técnico: DecompressionLM

Planteamiento del Problema

Los métodos existentes para sondear el conocimiento en Modelos de Lenguaje Extensos (LLMs) dependen de consultas predefinidas (por ejemplo, prompts de tipo cloze o plantillas específicas). Este enfoque de "mundo cerrado" limita la extracción a conceptos sobre los cuales los investigadores ya saben preguntar, lo que impide revelar el alcance total del conocimiento codificado por un modelo. Además, los métodos estándar de sondeo basados en la decodificación sufren tres ineficiencias críticas:

1. Acoplamiento entre secuencias: La exploración secuencial (por ejemplo, la búsqueda de haz o beam search) concentra la masa de probabilidad en prefijos de alta frecuencia, suprimiendo continuaciones diversas.
2. Efectos de decodificación competitiva: El muestreo autorregresivo crea una dinámica de "el rico se hace más rico", donde las primeras elecciones de alta probabilidad dominan, reduciendo la cobertura de conceptos de la "cola larga" (long-tail).
3. Restricciones de escalabilidad: El sondeo exhaustivo mediante la expansión secuencial del contexto incurre en una complejidad temporal cuadrática debido a los mecanismos de autoatención, lo que hace que la extracción integral de conocimiento sea computacionalmente prohibitiva.

Adicionalmente, las métricas de evaluación estándar como la perplejidad a menudo no logran capturar la amplitud del conocimiento o la fidelidad del fundamento factual, particularmente en modelos comprimidos (cuantizados).

Metodología: DecompressionLM

Los autores presentan DecompressionLM, un marco de trabajo stateless (sin estado) y zero-shot diseñado para muestrear sistemáticamente la distribución de salida de un LLM para descubrir grafos de conceptos sin consultas preespecificadas.

Mecanismos Centrales

1. Muestreo de Van der Corput (VdC) con Decodificación Aritmética:

   • En lugar de la búsqueda de haz secuencial, el método emplea un muestreo cuasi-aleatorio determinista utilizando secuencias de baja discrepancia de Van der Corput.
   • Combinado con la decodificación aritmética, esto mapea las secuencias a números reales en $[0, 1)$. La secuencia VdC genera un conjunto de códigos ($v_n$) de baja discrepancia e ilimitado que aseguran una cobertura uniforme del espacio de salida.
   • Este enfoque permite una generación totalmente paralela y sin estado. Cada secuencia se genera de forma independiente desde el mismo prefijo de prompt utilizando un código único, eliminando el acoplamiento entre secuencias y permitiendo que el cómputo se delegue a diferentes máquinas sin necesidad de coordinación.

2. Pipeline de Extracción de Conceptos:

   • Prompting: Se solicita a los modelos que generen conceptos relevantes del dominio como una simple lista de palabras clave (una por línea), evitando texto explicativo para minimizar las suposiciones estructurales.
   • Normalización: Los conceptos brutos se someten a normalización Unicode, conversión a minúsculas, filtrado ASCII y singularización morfológica (por ejemplo, "violations" $\to$ "violation").
   • Fusión (Merging): Un algoritmo de coincidencia difusa (distancia de Levenshtein con bloqueo basado en longitud) fusiona duplicados cercanos para construir un conjunto de conceptos canónicos.
   • Construcción de Grafos: Se construye un grafo dirigido donde los nodos son conceptos y las aristas representan señales débiles de coocurrencia derivadas de líneas consecutivas en las secuencias generadas.

3. Validación:

   • Para dominios legales, los conceptos extraídos se verifican contra CourtListener, una base de datos de jurisprudencia de EE. UU., para distinguir conceptos fácticos de alucinaciones.

Contribuciones Clave

1. Cobertura Sistemática mediante Muestreo VdC: El artículo reemplaza la búsqueda de haz secuencial con un muestreo cuasi-aleatorio determinista. Esto proporciona esquemas de cobertura reproducibles, independientes del orden y libres de semillas (seed-free), lo que permite un benchmarking consistente entre modelos y variantes de cuantización.
2. Extracción de Conceptos Sin Estado: Al desacoplar las secuencias, el método evita los sesgos introducidos por la acumulación dinámica de contexto y permite una generación escalable y masivamente paralela.
3. La Cobertura de Conceptos como Métrica Diagnóstica: Los autores proponen la "cobertura de conceptos" (amplitud, conectividad y veracidad del conocimiento extraíble) como una dimensión de evaluación complementaria a la perplejidad tradicional y a los benchmarks de tareas de seguimiento.

Resultados Experimentales

El marco fue evaluado a través de dos familias de modelos (Qwen2.5-7B y Llama-3.1-8B), cinco variantes de cuantización (BF16, GPTQ-Int8, GPTQ-Int4, AWQ-4bit, BNB-4bit) y cuatro dominios (Derecho de EE. UU., Git, Radiología, Aviación de la FAA).

Efectos de la Cuantización

• AWQ-4bit (Conciencia de Activación): Sorprendentemente, este método expandió la cobertura de conceptos entre un 30 y un 170% en comparación con la línea base de BF16, manteniendo una alta conectividad del grafo. Esto sugiere que proteger los pesos salientes basados en estadísticas de activación preserva el acceso al conocimiento de la cola larga.
• GPTQ-Int4 (Uniforme): Este método indujo un colapso catastrófico, reduciendo la cobertura de conceptos entre un 71 y un 86% y causando una fragmentación severa del grafo (por ejemplo, solo el 40.8% de los conceptos en el componente conectado más grande para Llama).
• Desacoplamiento de la Perplejidad: Las métricas de perplejidad estándar se mantuvieron relativamente estables en las distintas variantes de cuantización (excepto en el régimen degenerado de GPTQ-Int4), fallando en reflejar la enorme divergencia en la cobertura de conceptos. Esto indica que un modelo puede generar texto fluido para conceptos conocidos mientras pierde la capacidad de presentar conceptos raros y válidos.

Robustez y Alucinación

• Estabilidad del Desplazamiento (Offset): Experimentos con múltiples desplazamientos VdC confirmaron que los patrones de degradación observados (por ejemplo, la superioridad de AWQ frente al colapso de GPTQ) son intrínsecos a la estructura de conocimiento del modelo y no artefactos de la inicialización.
• Brecha de Alucinación: En el dominio de Derecho de EE. UU., se observó una brecha de 19.6 puntos en las tasas de alucinación entre los modelos mejor y peor clasificados en el benchmark MMLU-Pro Law. Los modelos superiores promediaron un ~15% de alucinación, mientras que los inferiores promediaron un ~35%.
• Correlación de Frecuencia: Algunos modelos exhibieron "corrupción de la cabeza" (head corruption), donde incluso los conceptos generados frecuentemente se volvieron poco fiables (correlación negativa entre frecuencia y alucinación), mientras que otros mostraron un "colapso de la cola" (tail collapse), donde los conceptos raros eran alucinados pero los comunes permanecían fundamentados.

Significado y Reivindicaciones

El artículo afirma que DecompressionLM establece una nueva capacidad diagnóstica para evaluar los LLMs, particularmente en el contexto de modelos comprimidos listos para su despliegue.

• Más allá de la Perplejidad: Los hallazgos desafían la primacía de la perplejidad como métrica de calidad para modelos comprimidos. Un modelo puede mantener una perplejidad baja mientras pierde el 70% de sus conceptos extraíbles, un modo de falla invisible para las métricas estándar pero crítico para la generación aumentada por recuperación (RAG), la QA intensiva en conocimiento y las aplicaciones creativas.
• Perspectivas de Cuantización: El trabajo revela que diferentes métodos de cuantización afectan distintos aspectos del conocimiento del modelo. La cuantización con conciencia de activación (AWQ) parece preservar preferentemente la capacidad de generar conceptos diversos de la cola larga, mientras que la cuantización uniforme degrada esta capacidad a pesar de tener puntuaciones de perplejidad similares.
• Dimensión de Evaluación: La cobertura de conceptos se propone como una dimensión necesaria y complementaria para evaluar el fundamento fáctico y la amplitud del conocimiento de los modelos destinados al despliegue en el mundo real.

Los autores concluyen que este marco permite la extracción de grafos de conceptos exhaustivos sin conocimiento previo del dominio, reduciendo la barrera para auditar el conocimiento de los modelos y revelando propiedades cualitativas de la representación del conocimiento que los benchmarks tradicionales pasan por alto.