🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

Este artículo evalúa los métodos de intervalos de confianza para las métricas de rendimiento de clasificadores bajo condiciones típicas de la clasificación de textos en ciencias sociales —tales como tamaños de muestra pequeños y datos anidados— demostrando que los enfoques estándar a menudo producen una cobertura inexacta mientras recomienda alternativas superiores como Agresti-Coull, Wilson y el bootstrapping jerárquico para mejorar la transparencia y la validación en aplicaciones de aprendizaje automático.

Autores originales: Kylie Anglin

Publicado 2026-06-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kylie Anglin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef que acaba de inventar una nueva receta para un "Pastel de Chocolate Perfecto". Quieres decirle al mundo lo bueno que es. No te limitas a decir: "Es un 90% delicioso". Tienes que demostrarlo. Así que invitas a 20 personas a probarlo. 18 de ellas dicen: "¡Sí, esto es genial!".

En el mundo de la informática y los Modelos de Lenguaje Extensos (LLM), esto es exactamente lo que hacen los investigadores. Entrenan a las computadoras para leer texto y clasificarlo en categorías (como "enojado", "feliz" o "spam"). Para demostrar que su computadora es inteligente, le muestran una muestra de texto que ya ha sido calificada por humanos y calculan una puntuación, como el "Recall" (¿cuántos de los textos "enojados" encontró la computadora?).

El Problema: El "Juego de Adivinar" de la Confianza
El artículo argumenta que los investigadores están jugando actualmente un peligroso "Juego de Adivinar". Informan su puntuación (por ejemplo, "¡90% de precisión!"), pero rara vez informan qué tan seguros están de ese número.

Piénsalo como un pronóstico del tiempo. Si un meteorólogo dice: "Hay un 90% de probabilidad de lluvia", eso es útil. Pero si solo dicen: "Lloverá", sin decirte si eso se basa en una imagen satelital o en una suposición, no puedes confiar en ellos.

En este artículo, la autora, Kylie Anglin, dice que cuando los investigadores usan grupos pequeños de personas para probar sus computadoras, o cuando la "lluvia" (el texto específico que están buscando) es muy rara, las formas estándar de calcular "qué tan seguros estamos" (llamadas Intervalos de Confianza) suelen estar rotas. Son como una regla que se encoge y se estira de forma impredecible.

Las "Reglas Rotas" (Métodos Antiguos)
El artículo pone a prueba varias formas de medir esta certeza. Encuentra que los dos métodos más comunes utilizados hoy en día son como usar una regla hecha de goma:

El Intervalo de Wald: Este es el método del "libro de texto". Funciona bien si tienes una multitud enorme y resultados promedio. Pero si tienes un grupo pequeño o una puntuación muy alta (como un 95%), esta regla se encoge demasiado. Te dice: "Estamos 95% seguros de que la puntuación está entre 94% y 96%", cuando en realidad, la puntuación real podría estar en cualquier lugar entre el 80% y el 100%. Ofrece una falsa sensación de precisión.
El Bootstrap Básico: Este es un método donde simulas el experimento miles de veces en una computadora para ver qué sucede. El artículo encuentra que la versión estándar de este también es "tambaleante" y a menudo subestima el riesgo, especialmente con grupos pequeños.

Las "Mejores Reglas" (Nuevas Recomendaciones)
El artículo sugiere cambiar esas reglas de goma por reglas más robustas que no se estiren tanto.

Para Textos Independientes (La Prueba "Solo"): Si cada texto proviene de una persona diferente y es totalmente único, la autora recomienda usar el método Agresti-Coull. Piensa en esto como añadir un poco de "relleno de seguridad" a tu cálculo. Es simple, fácil de calcular y evita que la regla se encoja demasiado.
Para Métricas Complejas (Como F1): Algunas puntuaciones son combinaciones complejas de diferentes cosas (como la puntuación F1). No puedes usar fórmulas simples para estas. La autora propone un nuevo truco llamado Regularización de Pseudo-Conteo. Imagina que estás horneando un pastel, pero te preocupa no tener suficientes ingredientes. Añades un "ingrediente fantasma" (un huevo imaginario y una taza de harina imaginaria) a tu mezcla antes de empezar. Esto estabiliza la receta para que tu resultado final no colapse si solo tienes pocos ingredientes reales. Este método hace que las simulaciones por computadora sean mucho más confiables.

El Problema de la "Cámara de Eco" (Datos Anidados)
Aquí es donde se vuelve complicado. En la vida real, las personas no solo escriben una frase; escriben muchas. Un terapeuta puede escribir 30 notas; un estudiante puede escribir 20 ensayos. Estos textos están "anidados" dentro de la persona. No son independientes; comparten la misma voz, estilo y peculiaridades. Estos textos no son independientes; comparten la misma voz, estilo y peculiaridades.

El artículo explica que si tratas 30 notas de una persona como si fueran 30 notas de 30 personas diferentes, estás haciendo trampa. Te engañas a ti mismo pensando que tienes más datos de los que realmente tienes. Es como pedirle a un amigo que pruebe tu pastel 30 veces y contar eso como 30 opiniones diferentes. No estás obteniendo 30 opiniones; estás obteniendo una opinión repetida 30 veces.

Cuando ignoras este efecto de "cámara de eco":

Tus intervalos de confianza se vuelven demasiado estrechos. Crees que estás un 95% seguro, pero podrías estar solo un 65% seguro.
La Solución: El artículo sugiere dos formas principales de arreglar esto:
1. Ajustar las Matemáticas: Usa una fórmula que reduzca tu "tamaño de muestra efectivo" para tener en cuenta el hecho de que los textos están relacionados. Es como decir: "Tenemos 30 notas, pero debido a que todas son de la misma persona, solo cuentan como 10 opiniones independientes".
2. El Bootstrap Jerárquico: En lugar de solo barajar notas individuales en una simulación por computadora, barajas primero a las personas y luego barajas las notas dentro de ellas. Esto respeta el hecho de que las notas pertenecen a una persona específica.

La Gran Conclusión
El mensaje principal del artículo es un llamado a la honestidad en el reporte.

No te limites a reportar la puntuación. Si dices que tu computadora tiene un 90% de precisión, también debes decir: "Estamos 95% seguros de que el número real está entre X e Y".
Usa las herramientas adecuadas. No uses las viejas reglas de goma (Wald o Bootstrap básico) para conjuntos de datos pequeños o de alto rendimiento. Usa las más robustas (Agresti-Coull o el nuevo método de Pseudo-Conteo).
Cuidado con los grupos. Si tus datos provienen de las mismas personas escribiendo varias veces, necesitas ajustar tus matemáticas para evitar el exceso de confianza.

Al usar estos mejores métodos, los investigadores pueden dejar de pretender que saben más de lo que saben. Les ayuda a darse cuenta de cuándo necesitan recolectar más datos (más personas, más textos) para obtener un resultado verdaderamente confiable, en lugar de simplemente esperar que su pequeño tamaño de muestra sea suficiente.

Resumen Técnico: Estimación de la Incertidumbre en el Desempeño de Clasificadores con Aplicaciones a Modelos de Lenguaje de Gran Escala y Datos Anidados

Planteamiento del Problema
Los investigadores utilizan cada vez más la clasificación de textos —a través de modelos supervisados o Modelos de Lenguaje de Gran Escala (LLM)— para extraer constructos de datos de lenguaje natural. Si bien se reportan rutinariamente métricas de desempeño como la exhaustividad (recall), la precisión (precision) y la F1 para validar estos modelos, estas se presentan frecuentemente como estimaciones puntuales sin acompañarlas de medidas de incertidumbre estadística (por ejemplo, intervalos de confianza o errores estándar). Cuando se reporta la incertidera, los métodos utilizados suelen ser inapropiados para las condiciones específicas típicas de la clasificación de textos en las ciencias sociales: tamaños de muestra pequeños a moderados, constructos infrecuentes (lo que conduce a recuentos bajos de casos positivos), altas tasas de desempeño (comunes con los LLM) y estructuras de datos anidados (textos agrupados dentro de individuos). Se demuestra que los métodos por defecto, como el intervalo de Wald y el bootstrap de percentiles básico, producen una cobertura inexacta, cayendo a menudo significativamente por debajo del nivel nominal del 95%, particularmente cuando los tamaños de muestra son pequeños o las proporciones son extremas. Además, los procedimientos estándar de estimación de intervalos asumen observaciones independientes e idénticamente distribuidas (i.i.d.), un supuesto que se viola cuando los textos están anidados dentro de individuos, lo que conduce a una subestimación de la incertidumbre e intervalos de confianza excesivamente estrechos.

Metodología
El artículo emplea una serie de estudios de simulación para evaluar la cobertura y la amplitud de varios métodos de intervalos de confianza bajo condiciones típicas de la clasificación de textos.

Simulaciones de Datos Independientes: Los autores simulan proporciones binomiales ( $p$ ) que van desde 0.5 a 0.95 y tamaños de muestra ( $n$ ) de 10 a 500. Comparan intervalos analíticos (Wald, Wilson, Agresti-Coull, Clopper-Pearson) contra intervalos de bootstrap (percentil, BCa y un nuevo bootstrap regularizado por pseudo-conteos).
- Método Novel: Se propone un "bootstrap regularizado por pseudo-conteos". Esto implica aumentar la muestra original con pseudo-observaciones (por ejemplo, añadir un éxito y un fracaso para las proporciones, o añadir pseudo-observaciones a cada cuadrante de la matriz de confusión para la F1) antes del remuestreo. Esto imita el comportamiento del intervalo analítico de Agresti-Coull dentro de un marco de bootstrap.
- Evaluación de F1: Simulaciones específicas evalúan la cobertura de la puntuación F1 variando la precisión y la exhaustividad reales a través de poblaciones desbalanceadas (prevalencia = 0.10).
Simulaciones de Datos Anidados: Para abordar la no-independencia, los autores simulan datos jerárquicos donde los textos están anidados dentro de individuos.
- Diseño: Se genera una población de 2000 individuos, cada uno produciendo 60 textos. Los esquemas de muestreo varían entre un "corpus pequeño" (promedio de ~3 textos por individuo) y un "corpus moderado" (promedio de ~30 textos por individuo).
- Métodos Probados: El estudio compara intervalos analíticos no ajustados, intervalos analíticos ajustados por tamaño de muestra efectivo ( $n_{eff}$ ) y grados de libertad de diseño ( $df_{design}$ ), y los intervalos de bootstrap (bootstrap de clúster vs. bootstrap jerárquico).
- Ajustes: El estudio prueba ajustes utilizando el efecto de diseño (DEFF) basado en la correlación intraclase (ICC) y el uso de cuantiles $t$ en lugar de cuantiles $z$ para dar cuenta de la reducción en los grados de libertad.

Contribuciones Clave

Comparación Sistemática: El artículo proporciona una evaluación sistemática de la cobertura de los intervalos de confianza diseñada específicamente para las condiciones de alto desempeño, muestra pequeña y datos anidados prevalentes en la clasificación de textos de las ciencias sociales.
Identificación de Fallos por Defecto: Demuestra que el intervalo de Wald y el bootstrap de percentiles básico son los métodos menos precisos, produciendo a menudo tasas de cobertura tan bajas como 0.40–0.66 en escenarios con muestras pequeñas y alto desempeño (ej., $p=0.95$ ).
Nueva Regularización: Los autores introducen y validan un bootstrap regularizado por pseudo-conteos. Este método mejora la cobertura tanto para proporciones como para métricas que no son proporciones (como F1) en muestras pequeñas y regímenes de alto desempeño, abordando el comportamiento errático del bootstrapping estándar.
Guía para Datos Anidados: El estudio aclara que para datos anidados, aumentar simplemente el número de textos es insuficiente; son necesarios ajustes para el tamaño de muestra efectivo y los grados de libertad de diseño. Compara el bootstrap de clúster frente al jerárquico, encontrando que el bootstrap jerárquico es generalmente más preciso, pero puede ser excesivamente conservador cuando los individuos producen muy pocos textos.
Planificación del Tamaño de la Muestra: El artículo proporciona tablas y visualizaciones que ilustran la relación entre el tamaño de la muestra, la tasa de desempeño y la amplitud del intervalo de confianza, destacando el alto costo de lograr intervalos estrechos cuando el desempeño es alto o los tamaños de muestra son pequeños.

Resultados

Datos Independientes: Los intervalos analíticos de Agresti-Coull, Wilson y Clopper-Pearson logran consistentemente una cobertura cercana o superior al nivel nominal de 0.95, incluso con muestras pequeñas. El bootstrap regularizado por pseudo-conteos se desempeña de manera comparable para las proporciones y es la única opción robusta para las puntuaciones F1 en muestras pequeñas. El intervalo de Wald y el bootstrap de percentiles básico subestiman consistentemente la cobertura.
Datos Anidados: Los intervalos no ajustados (tratando los textos como independientes) subestiman severamente la cobertura (ej., ~65% de cobertura cuando se espera un 95%) cuando los textos están anidados.
- Ajustes: Los intervalos ajustados por $n_{eff}$ y $df_{design}$ (específicamente usando las fórmulas de Agresti-Coull o Wilson con estos ajustes) proporcionan una cobertura precisa.
- Desempeño del Bootstrap: El bootstrap jerárquico regularizado por pseudo-conteos proporciona una cobertura precisa en diversas condiciones. El bootstrap de clúster es más preciso (intervalos más estrechos) pero corre el riesgo de subestimar la cobertura, particularmente cuando el número de textos por individuo es grande (~30) y el número de individuos es pequeño.
Sensibilidad al Tamaño de la Muestra: La amplitud de los intervalos de confianza es altamente sensible al número de individuos en diseños anidados, más que al número total de textos. Aumentar el número de individuos produce una mayor precisión estadística que aumentar el número de textos por individuo.

Significancia y Reivindicaciones
El artículo argumenta que la magnitud de una métrica de desempeño es insuficiente sin una medida de su precisión. La ausencia de intervalos de confianza precisos amenaza la transparencia de las aplicaciones de aprendizaje automático en las ciencias sociales, lo que podría conducir a una confianza excesiva en las inferencias basadas en modelos.

Los autores afirman que su trabajo ofrece recomendaciones basadas en evidencia para mejorar los estándares de reporte:

Para datos independientes, se recomienda el intervalo de Agresti-Coull como predeterminado debido a su simplicidad y precisión, con el bootstrap regularizado por pseudo-conteos como la alternativa preferida para métricas que no son proporciones, como F1.
Para datos anidados, los analistas deben ajustar el tamaño de muestra efectivo y los grados de libertad. El bootstrap jerárquico regularizado por pseudo-conteos es la opción recomendada cuando los ajustes analíticos no son factibles.
El artículo enfatiza la necesidad de que los investigadores consideren los requisitos de tamaño de muestra en la etapa de diseño, señalando particularmente que los constructos raros y los altos niveles de desempeño requieren una planificación cuidadosa para asegurar suficientes "tamaños de muestra analíticos" (es decir, el número de casos positivos, no solo el total de textos) para soportar una inferencia confiable.

Los autores señalan modestamente las limitaciones, incluyendo que sus simulaciones anidadas asumen una estructura de ICC única y que el artículo se centra en la estimación de la incertidumbre más que en la estimación imparcial de las métricas mismas. Instan a realizar trabajos futuros para establecer puntos de referencia para valores comunes de ICC y rangos de desempeño en psicología para ayudar aún más en el diseño de estudios.

Más como este