Resumen Técnico: El Efecto de Diseño de Excedencia

1. Planteamiento del Problema

Los sistemas de aprendizaje automático dependen frecuentemente de umbrales establecidos en cuantiles específicos de un conjunto de calibración (por ejemplo, predictores conformes que garantizan una cobertura del 90%, puertas de abstención o filtros de seguridad). Estas garantías asumen que los ejemplos de calibración son independientes e idénticamente distribuidos (i.i.d.). Sin embargo, en los flujos de trabajo modernos —como la inferencia de Modelos de Lenguaje de Gran Escala (LLM), la búsqueda de haz (beam search) o los trazos de razonamiento— las unidades de calibración suelen compartir un mismo prompt, documento o historial de razonamiento, lo que crea cúmulos de datos dependientes.

Si bien la estadística de muestreo ha abordado durante mucho tiempo la reducción en el tamaño de muestra efectivo ($n_{eff}$) para los promedios bajo agrupamiento mediante el efecto de diseño (Kish, 1965), este artículo sostiene que la corrección estándar es inapropiada para los umbrales (estadísticos de orden). El efecto de diseño estándar se basa en la correlación de las puntuaciones brutas. El autor demuestra que para un umbral, la correlación relevante no es entre las puntuaciones en sí mismas, sino entre los indicadores de excedencia (si una puntuación cae por encima o por debajo del umbral). Además, esta correlación no es constante; depende del nivel específico en el que se establece el umbral.

2. Metodología y Marco Teórico

Definiciones Centrales

• Indicador de Excedencia: Para un umbral $q_p$ (el $p$-cuantil), el indicador es $I = \mathbb{1}\{S \le q_p\}$.
• Correlación de Excedencia ($\rho_I(p)$): La correlación intra-clúster de estos indicadores binarios.
• Efecto de Diseño de Excedencia (DEFF): Definido como $1 + (\tilde{m} - 1)\rho_I(p)$, donde $\tilde{m}$ es el tamaño medio sesgado por tamaño de los cúmulos.
• Tamaño de Muestra Efectivo ($n_{eff}$): $n / \text{DEFF}$.

Derivación Teórica

El artículo deriva una ley de forma cerrada para la distribución de la cobertura realizada ($C$) bajo agrupamiento.

1. Configuración: Las puntuaciones de calibración llegan en $b$ cúmulos de tamaño $m$ (total $n=bm$). Los cúmulos son i.i.d., y las puntuaciones dentro de un cúmulo son intercambiables. La puntuación de prueba es independiente de los cúmulos de calibración.
2. Varianza de la CDF Empírica: La varianza de la CDF empírica en el cuantil se deriva tratando las CDF empíricas a nivel de cúmulo como promedios i.i.d. La variancia de la suma de indicadores dentro de un cúmulo introduce el término $1 + (m-1)\rho_I(p)$.
3. Representación de Bahadur: Utilizando la representación de Bahadur para cuantiles, el autor muestra que la densidad de la distribución de la puntuación se cancela al mapear el error del cuantil a la probabilidad de cobertura. Este es un paso crítico: implica que la dispersión de la cobertura depende solo de la correlación de los indicadores, no de la correlación de las puntuaciones brutas o de la forma de la densidad subyacente.
4. Ley Límite (Teorema 1): A medida que $b \to \infty$, la cobertura $C$ converge en distribución a una distribución Normal (o una distribución Beta ajustada para muestras finitas) con varianza:
   $$\text{Var}(C) \approx \frac{p(1-p)}{n_{eff}} = \frac{p(1-p)}{n / [1 + (m-1)\rho_I(p)]}$$
   Esto establece que el efecto de diseño actúa como una reducción en el tamaño de la muestra específicamente para la dispersión de la cobertura.

Extensiones

• Familias Irregulares (Proposición 2): Para cúmulos de tamaño desigual $m_j$, el teorema se mantiene si $m$ se reemplaza por la media sesgada por tamaño $\tilde{m} = \frac{\sum m_j^2}{\sum m_j}$.
• Tamaños Informativos (Sección 2.5): El artículo advierte que si los tamaños de los cúmulos están correlacionados con las puntuaciones (por ejemplo, preguntas más difíciles generan trazos de razonamiento más largos), la marginal de calibración difiere de la marginal de prueba, introduciendo un sesgo de primer orden en la media de la cobertura que el efecto de diseño no corrige.
• Deriva de la Media (Conjetura 1): Bajo agrupamiento, la media de la cobertura no es exactamente el nivel nominal $p$, sino que deriva por un término $O(1/b)$ que depende de la derivada de $\rho_I(p)$.

3. Contribuciones Clave

1. El Efecto de Diseño de Excedencia: El artículo demuestra que el tamaño de muestra efectivo para un umbral está gobernado por la correlación de los indicadores de excedencia ($\rho_I$), no por la correlación de las puntuaciones brutas ($\rho$).
2. Dependencia del Nivel: Demuestra que $\rho_I(p)$ es una función del nivel del umbral $p$. Un conjunto de datos no tiene un único tamaño de muestra efectivo; tiene uno para cada nivel de umbral. En muchos casos (por ejemplo, cópulas gaussianas), $\rho_I(p)$ se atenúa en las colas, lo que significa que el efecto de diseño es menor en niveles de cobertura más estrictos (por ejemplo, 99%) que en niveles más laxos (por ejemplo, 90%).
3. Fallo de las Correcciones Estándar: El artículo muestra que aplicar el efecto de diseño de Kish estándar usando la correlación de puntuaciones brutas $\rho$ es incorrecto. En muchos escenarios realistas, $\rho_I(p) < \rho$, lo que conduce a una sobreestimación del efecto de diseño (desperdicio de datos) o, en estructuras de cópula específicas, a una subestimación (despliegue inseguro).
4. Corrección de Cúmulos Irregulares: Proporciona la sustitución correcta para tamaños de cúmulo desiguales utilizando la media sesgada por tamaño $\tilde{m}$, mostrando que el tamaño medio de cúmulo $\bar{m}$ subestima significativamente la penalización de la irregularidad.
5. Validación Empírica:
   • Dataset PRM Liberado: En un conjunto de calibración de un modelo de recompensa de proceso (PRM) liberado (25,028 ejemplos), el autor mide un tamaño de muestra efectivo de $\approx 1,300$. La correlación de puntuación estándar sugería una penalización mucho menor, mientras que la correlación de indicadores reveló un efecto de diseño de $\approx 30.8$ (antes de corregir por tamaños informativos).
   • Barrido Generado: Utilizando la búsqueda de haz (beam search) frente al muestreo independiente, el autor aísla el mecanismo de "ancestría compartida", mostrando que la búsqueda de haz induce un $\rho_I$ alto mientras que el muestreo independiente no lo hace, incluso cuando se condiciona al mismo prompt.

4. Resultados y Mediciones

• Dispersión vs. Media: El impacto principal del agrupamiento es sobre la dispersión de la cobertura realizada (efecto de primer orden), no sobre la media (efecto de segundo orden). Un sistema desplegado una vez puede experimentar una cobertura muy inferior a la garantía nominal, incluso si el promedio sobre muchas ejecuciones parece correcto.
• Magnitud del Error: En el dataset PRM, la distribución de la cobertura realizada fue $4.46\times$ más amplia que la predicción i.i.d. La probabilidad de que un despliegue caiga por debajo de 0.5 puntos porcentuales aumentó de 0.4 por cada 1,000 (i.i.d.) a 284.5 por cada 1,000 (agrupado).
• Estándar vs. Correcto: Usar la correlación de puntuación bruta para estimar el efecto de diseño resultó en errores hasta $5.7\times$ peores que la ley correcta basada en indicadores. En algunos casos (por ejemplo, SQuAD 2.0), la correlación de puntuación bruta era cercana a cero, sugiriendo que no era necesaria corrección, mientras que la correlación de indicadores era positiva, requiriendo una corrección significativa.
• Comportamiento de la Cola: Para cópulas con independencia de cola (como la Gaussiana), el efecto de diseño disminuye a medida que el umbral se desplaza hacia la cola. Para cópulas con dependencia de cola (como la Student-t o mezclas de átomos), el efecto de diseño alcanza un suelo determinado por el coeficiente de dependencia de cola.

5. Significado y Reivindicaciones

El artículo afirma cerrar una brecha entre la teoría de muestreo de encuestas y la predicción conforme. Aunque los componentes (efectos de diseño, correlaciones de indicadores, medias sesgadas por tamaño) existen en literaturas separadas (muestreo de encuestas, econometría, teoría de cópulas), este trabajo es el primero en componerlos en una ley específica para umbrales estimados a partir de datos agrupados.

Reivindicaciones Modestas:

• El artículo no pretende resolver el problema de los tamaños de cúmulo informativos (donde el tamaño se correlaciona con la puntuación); lo diagnostica y señala que requiere una corrección diferente (predicción conforme ponderada).
• La deriva de la media (Conjetura 1) se presenta como una conjetura bien probada con un residuo medido, no como un teorema totalmente probado, aunque la ley de dispersión (Teorema 1) sí está probada.
• El artículo no afirma que todo el agrupamiento sea malo; proporciona las herramientas para cuantificar exactamente cuánta "información" retiene un conjunto agrupado, permitiendo a los profesionales decidir si el intercambio vale la pena.

Implicaciones Prácticas:

• Los profesionales deben estimar $\rho_I(p)$ directamente a partir de pares dentro del mismo cúmulo en lugar de confiar en las correlaciones de puntuaciones brutas.
• El tamaño de muestra efectivo debe reportarse por nivel de cobertura, no como un único número global.
• "Comprar profundidad" (más muestras por prompt) ofrece rendimientos decrecientes en comparación con "comprar amplitud" (más prompts), ya que $n_{eff}$ está limitado por el número de cúmulos $b$.
• Reportar el número de cúmulos $b$ y el tamaño de muestra efectivo $n_{eff}$ es esencial para interpretar la fiabilidad de un único despliegue.

El artículo concluye que el "daño" del agrupamiento es invisible en las métricas de cobertura promedio, pero se siente plenamente en los despliegues individuales, y que las herramientas estándar para promediar (la fórmula de Kish sobre puntuaciones) son insuficientes para las garantías basadas en rangos de la predicción conforme.