LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

Formulación del Problema

El artículo aborda los desafíos estadísticos inherentes a la evaluación de Grandes Modelos de Lenguaje (LLM) mediante juicios humanos por pares, como se observa en plataformas como ARENA. En estos entornos, los usuarios comparan dos respuestas de modelos y seleccionan una preferida, generando datos ruidosos, dispersos y altamente no uniformes. Las prácticas actuales de las tablas de clasificación (leaderboards) suelen reportar estimaciones puntuales con una cuantificación de la incertidumbre limitada y no explotan explícitamente la estructura de bajo rango del rendimiento de los modelos a través de tareas, categorías y contextos.

Los autores formalizan este problema como inferencia semiparamétrica para un tensor de puntuaciones latentes de bajo rango ($T^\star$) observado a través de comparaciones por pares.

• Modelo: Adoptan un marco de tipo Bradley-Terry-Luce (BTL) donde la probabilidad de que el modelo $a$ venza al modelo $b$ en el contexto $t$ es $\sigma(\langle T^\star, X \rangle)$, con $X$ codificando el contraste de la comparación.
• Estructura: Se asume que $T^\star$ tiene una estructura Tucker de bajo rango, lo que refleja que el rendimiento del modelo está impulsado por un número pequeño de factores latentes (por ejemplo, razonamiento, codificación, capacidad multilingüe) en lugar de entradas independientes para cada par modelo-tarea.
• Observación: Los datos consisten en resultados binarios de contrastes de comparación por pares muestreados de forma no uniforme, no en entradas directas del tensor.
• Objetivo: El objetivo no es la recuperación total del tensor, sino la estimación eficiente de funcionales suaves $\psi(T^\star)$, que pueden ser lineales (por ejemplo, brechas de capacidad, puntuaciones de categoría) o no lineales (por ejemplo, probabilidades de victoria).

Metodología

El artículo desarrolla un marco para construir estimadores estadísticamente eficientes e intervalos de confianza válidos bajo estas restricciones.

1. Teoría de la Eficiencia Semiparamétrica
Los autores derivan los límites fundamentales de la estimación caracterizando la función de influencia eficiente (EIF) y el límite de eficiencia semiparamétrica.

• Espacio Tangente: Definen un espacio tangente de señal $\mathcal{T}$ que combina las restricciones de la variedad de bajo rango con las restricciones de identificación lineal (por ejemplo, normalización de suma cero) requeridas para la identificabilidad en modelos de comparación por pares.
• Operador de Información: Definen un operador de información de Fisher $G$ inducido por el enlace logístico y la distribución de muestreo. Crucialmente, demuestran que bajo enfrentamientos heterogéneos y muestreo no uniforme, $G$ es anisótropo (dependiente de la dirección).
• Límite de Eficiencia: El límite de eficiencia se da por $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$, donde $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ es el operador de información restringido y $P_{\mathcal{T}}$ es la proyección sobre el espacio tangente.

2. El Cuello de Botella de la No Conmutatividad
Un desafío técnico central identificado es que el operador de información $G$ generalmente no conmuta con el proyector del espacio tangente $P_{\mathcal{T}}$.

• En entornos isotrópicos (por ejemplo, ruido gaussiano), $G$ es proporcional a la identidad, lo que hace que la inversión sea sencilla.
• En comparaciones por pares, la información de Fisher variable $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ crea anisotropía. En consecuencia, el operador inverso restringido $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ puede exhibir una amplificación de entradas desfavorable, creando un cuello de botella dependiente de la dimensión para los argumentos de debiasado estándar. Esto se cuantifica mediante una constante $C_A$ que puede escalar con $\sqrt{\bar{d}}$ (la dimensión del modo más grande).

3. Estimadores
Para abordar estos desafíos, los autores proponen dos estimadores principales:

• Estimador de Un Solo Paso con Debiasado (One-Step Debiased Estimator): Un enfoque semiparamétrico estándar que utiliza la EIF. Requiere la inversión del operador de información restringido estimado. Aunque es eficiente, sus garantías teóricas dependen de la magnitud de $C_A$, lo que requiere tamaños de muestra más grandes para asegurar la normalidad asintótica cuando la información es altamente heterogénea.
• Estimador con Blanqueamiento de Puntuación (Score-Whitened Estimator): Para superar el cuello de botella de la no conmutatividad, los autores introducen un método de blanqueamiento de puntuación (score-whitening). Al reescalar la función de puntuación por la información de Fisher local ($\tilde{s}_\eta = s_\eta / I(\eta)$), transforman el operador de información efectivo en uno isotrópico. Esto elimina la necesidad de la inversión del operador, elimina el cuello de botella de $C_A$ y produce un estimador más simple con un comportamiento asintótico estable bajo condiciones de complejidad de muestra más débiles ($n \gg \bar{d} \text{polylog}(\bar{d})$).
• Ponderación por Inversa de la Probabilidad (IPW): Para el muestreo no uniforme, combinan el blanqueamiento de puntuación con IPW para restaurar la isotropía, lo que permite al método manejar datos del mundo real donde los modelos populares reciben desproporcionadamente más comparaciones.

Contribuciones Clave

1. Formulación Estadística: El artículo unifica la evaluación de LLM en un marco de completitud de tensores de bajo rango bajo comparaciones por pares, manejando explícitamente las restricciones de identificación y el muestreo no uniforme.
2. Caracterización de la Eficiencia: Proporciona los primeros límites de eficiencia semiparamétrica para modelos de comparación por pares de bajo rango, derivando la EIF y la ecuación de información $AH^\star = P_{\mathcal{T}}\nabla\psi$.
3. Identificación de un Nuevo Cuello de Botella: Los autores identifican y analizan la no conmutatividad entre el operador de información anisótropo y el proyector del espacio tangente como un obstáculo fundamental en los datos de comparación por pares heterogéneos, un fenómeno ausente en la completitud de tensores isotrópicos.
4. Solución de Blanqueamiento de Puntuación: Introducen una técnica de blanqueamiento de puntuación que iguala la información de Fisher local, "precondicionando" efectivamente el problema para restaurar la isotropía y permitir la inferencia eficiente sin la inversión del operador.
5. Garantías Teóricas: El artículo establece la normalidad asintótica y la estimación de la varianza válida tanto para funcionales lineales como no lineales, demostando que los estimadores propuestos alcanzan el límite de eficiencia semiparamétrica (o una alternativa robusta) a escalas de complejidad de muestra óptimas.

Resultados

Los autores validan su teoría a través de experimentos sintéticos y de datos reales:

• Inicialización: Demuestran que una inicialización de bajo rango (vía estimación espectral y minimización alternante) seguida de un refinamiento elemento a elemento es esencial para una estimación precisa en regímenes dispersos, superando significativamente a los modelos BTL por tarea.
• Normalidad Asintótica: Las simulaciones confirman que tanto el estimador eficiente como el de blanqueamiento de puntuación alcanzan una cobertura casi nominal (95%) para objetivos lineales y no lineales (por ejemplo, probabilidades de victoria) a medida que aumenta el tamaño de la muestra.
• Eficiencia vs. Robustez: El estimador eficiente produce consistentemente errores estándar más pequeños (mayor eficiencia) que el estimador de blanqueamiento de puntuación, confirmando que este último apunta al límite semiparamétrico. Sin embargo, el estimador de blanqueamiento de puntuación ofrece mayor robustez y estabilidad bajo geometrías de información altamente heterogéneas.
• Muestreo No Uniforme: Los experimentos sobre muestreo no uniforme (imitando los datos de ARENA) muestran que el IPW combinado con el blanqueamiento de puntuación mantiene una cobertura válida. El estimador eficiente retiene una ventaja de varianza pero requiere una estimación estable del operador de información.
• Aplicación a Datos Reales: Aplicado al conjunto de datos ARENA (81k observaciones, 30 modelos, 10 categorías), el estimador de un solo paso eficiente produjo los intervalos de confianza más estrechos con una cobertura cercana al 95%, superando los enfoques de línea base y el enfoque más conservador de blanqueamiento de puntuación.

Significancia y Reivindicaciones

El artículo afirma proporcionar un marco basado en principios para la cuantificación de la incertidumbre en la evaluación de LLM. Al ir más allá del simple ranking hacia la inferencia semiparamétrica sobre tensores latentes estructurados, aborda la necesidad crítica de intervalos de confianza fiables en la comparación de modelos.

Los autores enfatizan que su trabajo cierra la brecha entre la teoría de la completitud de tensores y la estadística de comparación por pares. Argumentan que los métodos de completitud estándar son insuficientes porque ignoran la naturaleza binaria de los datos, las restricciones de identificación y la heterocedasticidad de la información. El marco propuesto no se limita a los LLM; los autores señalan su aplicabilidad más amplia a cualquier problema de inferencia de bajo rango que involucre geometría de información heterogénea, muestreo no uniforme y observaciones de 1 bit.

El artículo posiciona modestamente su contribución como el establecimiento de los límites teóricos y la construcción de estimadores factibles para esta clase específica de problemas, en lugar de proponer nuevas arquitecturas de LLM o protocolos de benchmarking. Destaca que el "cuello de botella de la no conmutatividad" es una característica única de este entorno que requiere las estrategias de blanqueamiento de puntuación propuestas o una cuidadosa inversión del operador.