📊 statistics

Total Variation Distance Estimation in Autoregressive Models

Este artículo presenta algoritmos eficientes para estimar la distancia de variación total entre dos distribuciones autorregresivas de longitud $n$ bajo los modelos de acceso por muestra, logit y logit ruidoso, ofreciendo mejoras significativas respecto a los métodos previos y demostrando utilidad práctica en la cuantificación de las diferencias distribucionales entre los motores de inferencia de LLM modernos.

Autores originales: Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

Publicado 2026-07-23

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las diferencias invisibles entre los gemelos de IA

Imagina que tienes dos gemelos idénticos. Fueron criados en la misma casa, comen la misma comida y tienen el mismo ADN. Si les haces una pregunta, esperas que den la misma respuesta, palabra por palabra. En el mundo de la Inteligencia Artificial, específicamente en los Modelos de Lenguaje Extensos (LLM), el "ADN" son los pesos del modelo: la capacidad cerebral matemática almacenada en un archivo. Pero en el mundo real, las cosas no son tan simples. Al igual que los gemelos pueden reaccionar de forma diferente dependiendo de si están cansados, hambrientos o hablando con un amigo, los modelos de IA pueden producir resultados diferentes dependiendo del hardware informático en el que se ejecuten, de cuántas preguntas estén respondiendo a la vez o incluso de pequeños e invisibles fallos en el código del software.

Para medir qué tan diferentes son dos cosas, los científicos suelen utilizar una herramienta llamada "Distancia de Variación Total" (TV). Piensa en esto como un "medidor de desajustes". Si tienes dos bolsas de canicas y sacas una de cada una, la distancia TV te dice la probabilidad máxima de que las dos canicas sean de colores diferentes. Es una puntuación perfecta de "qué tan probable es que estas dos cosas no estén de acuerdo". Esto es diferente de otras herramientas que intentan medir "qué tan sorprendido" está un modelo, las cuales pueden colapsar por completo si los modelos no están de acuerdo incluso en una sola palabra. La gran pregunta que los investigadores se plantean es: si dos empresas afirman estar ejecutando exactamente el mismo modelo de IA, ¿te están dando realmente la misma experiencia, o hay diferencias ocultas acechando en el código?

La misión del artículo: Atrapar a los fantasmas en la máquina

Este artículo, titulado "Estimación de la Distancia de Variación Total en Modelos Autorregresivos", es una historia de detectives sobre cómo encontrar esas diferencias ocultas. Los autores, un equipo de la Universidad de Texas en Austin, se dieron cuenta de que, aunque dos motores de IA puedan parecer idénticos en el papel, la forma en que generan texto puede desviarse debido a factores como el "batching" (responder muchas preguntas a la vez) o la "cuantización" (simplificar números para ahorrar espacio). Querían construir una forma fiable de medir la Distancia de Variación Total entre dos motores de IA para ver qué tanto discrepan.

Los autores descubrieron que medir esta distancia es complicado porque los modelos de IA no solo escupen respuestas; las construyen palabra por palabra, como una reacción en cadena. Si solo puedes ver la respuesta final (como una muestra), es como intentar adivinar la trama de una película viendo solo la última escena. Para resolver esto, desarrollaron tres "superpoderes" o formas de mirar bajo el capó, y descubrieron que cuanto más puedes ver, más fácil se vuelve el trabajo.

1. El superpoder de la "Muestra" (La suposición con los ojos vendados)
La forma más básica de comprobar una IA es hacerle una pregunta y ver qué dice. Esto se llama "acceso por muestra". Los autores descubrieron que si solo tienes esta visión, necesitas hacerle muchísimas preguntas a la IA para obtener una buena medición. Específicamente, el número de preguntas necesarias crece con el cuadrado de la longitud de la historia ( $n^2$ ) y el tamaño de la lista "activa" del vocabulario ( $K$ ). Es como intentar mapear un bosque enorme caminando por un solo sendero; tienes que caminarlo muchas, muchas veces para estar seguro de no haber pasado por alto un claro oculto. Su método mejora los intentos anteriores, haciéndolo más rápido, pero sigue requiriendo un número masivo de consultas.

2. El superpoder del "Logit" (La visión de rayos X)
Muchos sistemas de IA también muestran sus "logits", que son los números brutos que el modelo utiliza para decidir qué palabra viene a continuación, antes de convertirlos en una elección final. Esto es como ver el proceso de pensamiento interno de la IA. Los autores demostraron que si tienes acceso a estos números, el trabajo se vuelve increíblemente fácil. Solo necesitas un número de consultas que crece linealmente con la longitud de la historia ( $n$ ). Es un salto enorme: como pasar de caminar por el bosque a volar sobre él en un helicóptero. Demostraron que esta es la forma más rápida de hacerlo; no se puede hacer más rápido que esto.

3. El superpoder del "Logit con Ruido" (La ventana empañada)
Aquí es donde se pone realmente interesante. En el mundo real, esos números "logit" no siempre son perfectos. A veces, la computadora está ocupada o el software es ligeramente defectuoso, y los números regresan un poco difusos o con "ruido". Los autores se dieron cuenta de que si tratas este ruido como una cantidad conocida (como saber qué tan empañada está tu ventana), aún puedes obtener una gran medición. Crearon un método que combina suavemente los enfoques de "ojos vendados" y de "rayos X". Si el ruido es bajo, actúas como si tuvieras visión de rayos X. Si el ruido es alto, actúas más como si tuvieras los ojos vendados. Esta es la herramienta más práctica porque funciona incluso cuando la IA no se está comportando perfectamente.

Poniéndolo a prueba: El enfrentamiento del mundo real

Para demostrar que sus métodos funcionan, los autores no se quedaron solo en el laboratorio. Organizaron un experimento del mundo real comparando dos motores de IA populares, vllm y sglang, ejecutando exactamente el mismo modelo (Qwen3-0.6B). Querían ver si estos dos motores, que se supone que son idénticos, producían realmente el mismo texto.

Descubrieron que los motores sí discrepaban. La Distancia de Variación Total entre ellos fue de aproximadamente 0.586 para una historia de 500 palabras. Este número representa la diferencia máxima de probabilidad entre los dos motores para cualquier resultado posible. En términos prácticos, significa que si ejecutaras una prueba específica para distinguir ambos motores, la mejor prueba posible tendría éxito aproximadamente el 59% de las veces. Es una medida de qué tan distinguibles son los dos motores, en lugar de una probabilidad directa de que cualquier oración aleatoria generada por uno sea diferente de la otra.

El estudio también reveló por qué discrepaban. A veces, un motor elegía una palabra que el otro motor consideraba imposible (un "desajuste de soporte"), lo que causaba que la distancia se disparara. Otras veces, elegían las mismas palabras pero les asignaban probabilidades ligeramente diferentes. Los autores también notaron que el "ruido" en el sistema cambiaba dependiendo de cómo se configuraran los motores. Por ejemplo, si pedías a los motores que respondieran 256 preguntas a la vez, el ruido aumentaba, haciendo que las mediciones fueran más difusas. Pero su nuevo método "multinivel" fue lo suficientemente inteligente para manejar esto. Al hacer la misma pregunta muchas veces y promediar los resultados, podían filtrar el ruido y encontrar la verdadera distancia.

La conclusión

El artículo concluye que ahora podemos medir de manera fiable qué tan diferentes son dos motores de IA, incluso cuando se ejecutan en hardware diferente o utilizan diferentes trucos de software. Demostraron que, aunque es difícil hacerlo si solo ves las respuestas finales, se vuelve mucho más fácil si puedes echar un vistazo a los números internos. Lo más importante es que demostraron que, incluso cuando esos números son un poco ruidosos, todavía podemos obtener una imagen precisa utilizando sus nuevos trucos estadísticos.

Esto es importante porque, a medida que la IA se vuelve más común, las empresas necesitan saber si su versión "barata" de un modelo es realmente la misma que la "cara", o si una nueva actualización de software más rápida está cambiando secretamente cómo se comporta la IA. Los autores han proporcionado la regla para medir estas diferencias invisibles, asegurando que cuando decimos que dos IAs son iguales, realmente lo son. Su código ya está disponible para que cualquiera lo use, convirtiendo esta compleja matemática en una herramienta práctica para el futuro de la IA.

Resumen Técnico: Estimación de la Distancia de Variación Total en Modelos Autorregresivos

1. Planteamiento del Problema

Las implementaciones modernas de Modelos de Lenguaje de Gran Escala (LLM) suelen implicar elecciones de implementación y optimizaciones de inferencia (por ejemplo, batching, kernels personalizados, cuantización, decodificación especulativa) que pueden causar que dos motores que sirven "el mismo modelo" produzcan distribuciones de salida significativamente diferentes. Aunque trabajos previos se han centrado en medir estas diferencias mediante la divergencia de Kullback-Leibler (KL), el artículo argumenta que la divergencia KL no es adecuada para esta tarea. La divergencia KL es ilimitada cuando las distribuciones tienen soportes disjuntos (un fenómeno común debido al truncamiento top- $k$ o errores de software), lo que hace imposible estimarla con una precisión $\epsilon$ a partir de muestras finitas sin la recuperación del soporte.

En contraste, la distancia de Variación Total (TV) está acotada en $[0, 1]$ , es interpretable y es robusta ante pequeñas diferencias de implementación que alteran el soporte. El artículo aborda el problema de estimar la distancia TV entre dos distribuciones autorregresivas de longitud $n$ , $\pi$ y $\mu$ , sobre un alfabeto de tokens $\Sigma$ (tamaño $m$ ), con un error aditivo $\epsilon$ . El estudio considera tres modelos de acceso distintos a estas distribuciones:

Acceso por Muestreo (Sample Access): Consultar un prefijo y recibir una muestra de la distribución del siguiente token.
Acceso por Logits (Logit Access): Consultar un prefijo y recibir el vector completo de log-probabilidades del siguiente token (exacto).
Acceso por Logits con Ruido (Noisy Logit Access): Consultar un prefijo y recibir un estimador insesgado de la distribución del siguiente token con varianza relativa acotada $\sigma^2$ .

2. Metodología y Resultados Teóricos

El artículo proporciona algoritmos y cotas inferiores para la estimación de la TV bajo cada modelo de acceso, formalizando las compensaciones entre la complejidad de consulta, la longitud de la secuencia $n$ , el tamaño del soporte $K$ y el nivel de ruido $\sigma$ .

A. Acceso por Logits (Exacto)

Metodología: Los autores observan que $O(n)$ consultas a oráculos de logits de prefijos permiten el cálculo exacto de la razón de verosimilitud $\pi(x)/\mu(x)$ para cualquier secuencia $x$ . Adaptan un estimador de razón de verosimilitud de [CR14], que estima la distancia TV muestreando secuencias de una distribución y evaluando la razón de verosimilitud bajo la otra.
Resultado (Teorema 2): Existe un algoritmo que estima la distancia TV con un error $\epsilon$ utilizando $O(n/\epsilon^2)$ consultas. Se demuestra que este límite es ajustado (salvo factores constantes) mediante una construcción de cota inferior que reduce la estimación de la TV al aprendizaje de un parámetro de Bernoulli oculto $p$ , donde revelar una sola muestra de $p$ requiere $\approx n$ consultas.
Significancia: Esta es la primera formalización de la estimación de la distancia TV bajo acceso por logits, ofreciendo una dependencia lineal de la longitud de la secuencia $n$ y eliminando la dependencia del tamaño del alfabeto $m$ o del tamaño del soporte $K$ .

B. Acceso por Muestreo (Sample Access)

Metodología: Bajo acceso por muestreo, el algoritmo no puede calcular directamente las razones de verosimilitud. El artículo propone un estimador que mejora el límite de estado del arte $O(n^3 m / \epsilon^5)$ de [MKP25]. El nuevo enfoque evita el "domado" de distribuciones (añadir ruido uniforme como relleno), lo cual introducía anteriormente una dependencia del tamaño completo del alfabeto $m$ . En su lugar, aprovecha la estructura específica de los modelos autorregresivos y el tamaño máximo de soporte $K$ de las distribuciones del siguiente token.
Resultado (Teorema 1): El algoritmo propuesto estima la distancia TV con un error $\epsilon$ utilizando $\tilde{O}(n^2 K / \epsilon^2)$ consultas. Se proporciona una cota inferior correspondiente de $\Omega(n K / \epsilon^2 \log K)$ .
Significancia: Esto mejora la dependencia de $n$ de cúbica a cuadrática, de $1/\epsilon^5$ a $1/\epsilon^2$ para $\epsilon$ , y reemplaza el tamaño del alfabeto $m$ por el tamaño del soporte $K$ , que suele ser mucho menor en la práctica (por ejemplo, en el muestreo top- $k$ ).

C. Acceso por Logits con Ruido (Noisy Logit Access)

Metodología: Reconociendo que los motores de inferencia reales introducen ruido (debido al batching, variaciones de kernels o precisión), los autores modelan el acceso como un estimador insesgado con varianza relativa $\sigma^2$ . Emplean un esquema de reducción de varianza de Monte Carlo multinivel (MLMC):

Construyen una suma telescópica de estimadores $Z_\ell$ en diferentes niveles de precisión (controlados por el número de repeticiones $r_\ell$ ).
Al acoplar las muestras entre niveles (usando la misma trayectoria $X$ para niveles adyacentes), aseguran que la varianza del estimador de diferencia decaiga geométricamente.
Esto permite intercambiar consultas más baratas y de alta varianza en niveles gruesos por consultas más costosas y de baja variancia en niveles finos.
Resultado (Teorema 3): El algoritmo estima la distancia TV con un error $\epsilon$ utilizando $\tilde{O}((n + n^2 \sigma^2)/\epsilon^2)$ consultas.
Significancia: Este resultado interpola suavemente entre el límite de acceso por muestreo (donde $\sigma^2 \approx K$ ) y el límite de acceso por logits (donde $\sigma^2 = 0$ ). Demuestra que incluso con oráculos ruidosos, la distancia TV sigue siendo estimable allí donde la divergencia KL podría ser infinita.

3. Evaluación Empírica

Los autores validan sus hallazgos teóricos mediante experimentos comparando dos motores de inferencia de producción, vllm y sglang, sirviendo los mismos pesos de Qwen3-0.6B.

Caracterización del Ruido: Midieron la desviación estándar relativa $\sigma$ de las log-probabilidades a través de diferentes backends (cuDNN, FlashAttention-2) y condiciones de batching. Encontraron que, aunque algunas configuraciones son deterministas de forma aislada, las condiciones de servicio introducen un ruido significativo.
Estimación de la Distancia: Se encontró que la distancia TV estimada entre vllm y sglang era sustancial (por ejemplo, $\approx 0.58$ con una longitud de secuencia $n=500$ ). La distancia se descompuso en un componente de "soporte compartido" (diferencias de log-probabilidad) y un componente de "desajuste de soporte" (tokens presentes en el top- $k$ de un motor pero no en el otro), siendo este último el que contribuye significativamente a la distancia total.
Eficiencia de MLLC: Los experimentos confirmaron la utilidad del esquema multinivel. En comparación con las estrategias de repetición de un solo nivel fijas, el esquema multinivel elegido por los autores logró la misma precisión con hasta $1.28\times$ menos consultas al oráculo. Los resultados también destacaron que la distancia estimada es sensible a las configuraciones de servicio (tamaño de batch) y al contenido del prompt.

4. Contribuciones Clave y Significancia

Límites Teóricos: El artículo establece límites de complejidad de consulta ajustados para la estimación de la distancia TV en modelos autorregresivos bajo tres modelos de acceso, resolviendo la dependencia de la longitud de la secuencia $n$ y el tamaño del soporte $K$ .
Robustez al Ruido: Introduce un modelo para el acceso por logits con ruido que captura las inconsistencias de la inferencia en el mundo real, demostrando que la distancia TV puede estimarse incluso cuando los valores de los logits no son deterministas.
Relevancia Práctica: El trabajo proporciona una herramienta para auditar proveedores de LLM y verificar que las optimizaciones de inferencia (como la cuantización o diferentes backends) no alteren significativamente la distribución de salida.
Limitaciones de KL: El artículo refuerza el argumento de que la distancia TV es una métrica más práctica que la divergencia KL para comparar LLMs, particularmente cuando los desajustes de soporte (comunes en el muestreo top- $k$ ) hacen que la KL sea infinita o inestimable.

Los autores concluyen que, si bien la distancia TV es estimable, la complejidad de las consultas depende fuertemente del nivel de ruido y del modelo de acceso específico, y que la separación entre la dependencia lineal y cuadrática de $n$ para diferentes modelos de acceso sigue siendo una cuestión abierta para trabajos futuros.