Resumen Técnico: El Testimonio Parcial de los Registros: Evaluación de la Generación de Modelos de Lenguaje bajo Elección de Modelo Confundida

Declaración del Problema

La evaluación en línea de modelos de lenguaje (LLM) depende cada vez más de registros de uso, datos de preferencia y anotaciones de jueces recopilados en despliegues del mundo real. Sin embargo, cuando la elección del modelo es impulsada por el usuario, estos registros sufren de confusión: los mismos factores no observados del lado del usuario ($U$) que influyen en qué modelo selecciona un usuario también influyen en cómo se juzga la salida de ese modelo. En consecuencia, las comparaciones crudas de las puntuaciones registradas mezclan subpoblaciones auto-seleccionadas en lugar de estimar una cantidad causal común de interés.

Aunque los experimentos aleatorizados (EXP) pueden romper este sesgo al anular la elección del modelo, a menudo son escasos, costosos y disruptivos en la práctica. La literatura existente sobre la combinación de grandes muestras observacionales sesgadas con muestras aleatorizadas pequeñas generalmente asume que el resultado a nivel de unidad se observa en ambas. En la evaluación de LLM, el "resultado" (el texto generado) debe regenerarse primero para los modelos candidatos antes de que pueda ser puntuado, añadiendo una capa de complejidad donde el resultado objetivo no se observa directamente ni siquiera en la muestra aleatorizada.

Metodología: Un Diseño de Tres Fuentes

El artículo propone un diseño de tres fuentes para abordar este desafío, separando el problema en identificación (recuperar valores causales) y estimación (reducir el error).

Fuentes de Datos

1. Registro Observacional (OBS): Un gran conjunto de datos de elecciones de modelos auto-seleccionadas, contextos, salidas y resultados. Proporciona escala y supervisión auxiliar, pero está confundido.
2. Experimento Aleatorizado (EXP): Un pequeño conjunto de datos donde la elección del modelo se aleatoriza, proporcionando etiquetas de resultado no confundidas para las salidas realizadas.
3. Simulador Offline (SIM): Un mecanismo que reproduce modelos candidatos en contextos almacenados en caché para generar salidas contrafactuales (mediadores) para cualquier modelo, independientemente de la elección original.

Estructura Causal y Supuestos

El marco modela el sistema utilizando un grafo causal con contexto observado ($X$), estado latente del usuario ($U$), modelo elegido ($A$), salida generada ($M$) y resultado ($Y$). Los supuestos clave incluyen:

• A1 (Aleatorización): En EXP, $A \perp U | X$.
• A2 (Validez de SIM): El simulador coincide con precisión con la distribución interventional del mediador $P(M | X, do(A=a))$.
• A3 (Consistencia del Resultado): La ley condicional del resultado $P(Y | X, M, U)$ es invariante entre OBS, EXP y el mundo interventional.
• A4 (Sin Confusión del Mediador Latente): Condicionado a $(X, A)$, $U \perp M$. Esto restringe el marco a la generación de una sola ronda y sin estado.
• A5 (Alineación del Contexto): La distribución de contexto objetivo coincide con la distribución de contexto de EXP.

Teorema de Identificación

El resultado teórico central del artículo (Teorema 1) establece que SIM y EXP son conjuntamente suficientes para identificar los valores causales del modelo, haciendo que OBS sea innecesario para la identificación.

• El experimento aleatorizado identifica la regla de puntuación no sesgada $r^*(x, m) = E[Y | X=x, M=m, EXP]$.
• El simulador proporciona la distribución interventional del mediador $p_{sim}(m | x, a)$.
• El valor causal se recupera integrando la regla de puntuación sobre la distribución simulada del mediador:
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  El registro observacional (OBS) entra solo después de la identificación para mejorar la eficiencia estadística (reducir la varianza), no para validar la comparación causal.

Familias de Estimadores

Una vez identificado el objetivo, el artículo evalúa seis familias de estimadores que difieren en cómo utilizan OBS para reducir el error de estimación:

1. Solo EXP: Ajusta un modelo de recompensa utilizando únicamente resultados aleatorizados. No sesgado pero de alta varianza cuando EXP es pequeño.
2. Solo OBS: Ajusta un modelo de recompensa en resultados registrados. Baja varianza pero hereda el sesgo de confusión.
3. Representación-EXP: Utiliza etiquetas auxiliares de OBS para aprender una representación proxy de menor dimensión $\psi$, y luego ajusta la cabeza de recompensa en $\psi$ utilizando datos de EXP.
4. Fundamentado (Grounded): Comienza con un predictor base entrenado en OBS $f_{OBS}$ y utiliza EXP para aprender un término de corrección en el espacio proxy.
5. CVCI (Inferencia Causal Validada Cruzadamente): Agrupa directamente los problemas de regresión de OBS y EXP, seleccionando el peso de agrupación $\lambda$ mediante validación cruzada causal en EXP.
6. CVCI-Residual: Residualiza el objetivo alrededor de la base OBS ($Y - f_{OBS}$) y agrupa el ajuste residual en el espacio proxy.

Resultados Empíricos

Los autores evalúan estos estimadores en una validación semi-sintética controlada y dos benchmarks reales en caché (resumen en CNN/DailyMail y codificación en SWE-bench Verified).

• Sin Dominio Universal: Ninguna familia de estimadores domina todos los regímenes. El rendimiento depende en gran medida de la cantidad de supervisión EXP no sesgada y de la alineación entre la estructura observacional y la recompensa objetivo.
• Benchmark de Resumen:
  • CVCI logró el mejor rango promedio y el menor arrepentimiento excesivo en 48 configuraciones.
  • Aumentar el presupuesto de EXP ($n_{EXP}$) mejoró significativamente los estimadores basados en EXP, mientras que aumentar el presupuesto de OBS ($n_{OBS}$) tuvo rendimientos decrecientes bajo mapas de recompensa suaves.
  • Cuando el mapa de recompensa se "agudizó" (no lineal), la alineación entre las representaciones proxy y el objetivo se degradó, causando caídas de rendimiento en los métodos basados en representaciones.
• Benchmark de Codificación:
  • Las clasificaciones cambiaron según la definición de recompensa. Cuando la recompensa priorizó la "calidad del parche" (características auxiliares), Representación-EXP tuvo un rendimiento competitivo.
  • Cuando la recompensa priorizó el "éxito real de la corrección" (un resultado binario no bien capturado por las estadísticas auxiliares del parche), las familias basadas en OBS (Solo OBS, CVCI) superaron a Representación-EXP.
  • Esto destaca que la utilidad de los proxies derivados de OBS depende de si retienen la señal relevante para la recompensa objetivo específica.

Significado y Afirmaciones

El artículo afirma proporcionar un marco riguroso para la evaluación offline de LLM que reconoce las limitaciones de los datos observacionales sin descartar su escala.

• Identificación vs. Estimación: La contribución principal es la separación teórica de la identificación (resuelta por SIM+EXP) de la estimación (donde OBS ayuda). Esto aclara que OBS no puede corregir el sesgo causal; solo puede reducir la varianza una vez que el sesgo se elimina mediante aleatorización y simulación.
• Guía Práctica: Los resultados empíricos sugieren que la elección del estimador debe guiarse por el diagnóstico de "alineación con el objetivo". Si la estructura de los datos observacionales (por ejemplo, etiquetas auxiliares) se alinea bien con la recompensa objetivo, los métodos híbridos (como CVCI o Fundamentado) son efectivos. Si el objetivo depende de señales no presentes en los proxies observacionales (por ejemplo, éxito real de la corrección frente a calidad del parche), los métodos asistidos por OBS pueden no superar a las líneas base puramente aleatorizadas.
• Alcance: Los autores notan modestamente que estas conclusiones se aplican a configuraciones de evaluación en caché de una sola vez. El marco asume generación de una sola ronda (Supuesto A4) y aún no aborda configuraciones interactivas de múltiples rondas ni incertidumbres más amplias a nivel de población más allá de los objetivos en caché.

En resumen, el artículo argumenta que, aunque los grandes registros son valiosos por su escala, son insuficientes para la evaluación causal por sí solos. Un pequeño experimento aleatorizado combinado con un simulador es el requisito mínimo para una identificación válida, con los datos observacionales sirviendo como una herramienta de reducción de varianza contingente a la alineación específica entre los datos y el objetivo de evaluación.