💻 computer science

Statistical Confidence in Functional Correctness: An Approach for AI Product Functional Correctness Evaluation

Este artículo propone y evalúa el enfoque de "Confianza Estadística en la Corrección Funcional" (SCFC), un método que vincula los requisitos empresariales con intervalos de confianza estadística mediante muestreo y remuestreo para superar las limitaciones de las evaluaciones puntuales en la calidad de los sistemas de IA.

Autores originales: Wallace Albertini, Marina Condé Araújo, Júlia Condé Araújo, Antonio Pedro Santos Alves, Marcos Kalinowski

Publicado 2026-02-23

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wallace Albertini, Marina Condé Araújo, Júlia Condé Araújo, Antonio Pedro Santos Alves, Marcos Kalinowski

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás construyendo un coche autónomo (un coche que se conduce solo). Quieres asegurarte de que es seguro antes de dejarlo circular por la ciudad.

En el software tradicional, las cosas son sencillas: o el coche frena cuando ve un peatón (correcto) o no frena (incorrecto). Pero la Inteligencia Artificial (IA) es diferente. Es como un conductor humano: a veces frena perfectamente, a veces tarda un segundo más, y a veces, por una mala luz, duda. No es 100% predecible.

Aquí es donde entra este paper. Los autores (un equipo de investigadores de Brasil) dicen: "Oye, evaluar la IA con las reglas viejas no funciona. Necesitamos una nueva forma de medir si es 'funcionalmente correcta' (es decir, si hace bien su trabajo) que tenga en cuenta esa incertidumbre."

Su solución se llama SCFC (Confianza Estadística en la Corrección Funcional). Vamos a desglosarlo con una analogía sencilla: El Chef y la Prueba de Sabor.

El Problema: La Prueba de un Solo Bocado

Imagina que eres un chef y quieres vender un nuevo plato.

El método viejo: Le das una muestra de tu plato a un cliente. El cliente dice: "¡Está delicioso!". Tú celebras y abres el restaurante.
El problema: ¿Y si ese cliente tenía un día especial? ¿Y si el plato estaba delicioso solo esa vez? ¿Qué pasa si mañana, con ingredientes ligeramente diferentes, el plato queda salado? El método viejo te da una "puntuación única" (ej. 83% de aciertos), pero no te dice qué tan estable es tu cocina.

La Solución: El Método SCFC (Los 4 Pasos)

Los autores proponen un proceso de 4 pasos para saber si tu "plato" (la IA) es realmente bueno y seguro, no solo por suerte.

1. Definir los Límites de la Receta (Especificación)

Antes de cocinar, debes definir qué es "comestible".

En la vida real: Si vendes jugo de naranja, el cliente espera que tenga al menos un 90% de fruta real. Si tiene menos, es un fraude.
En la IA: Los expertos definen una meta clara. Ejemplo: "El sistema de detección de fraudes debe atrapar al menos el 98% de las estafas". Si baja de ahí, el sistema falla. Esto es el Límite de Especificación Inferior (LSL).

2. La Muestra Representativa (Muestreo Estratificado)

No puedes probar el plato con solo 3 amigos que viven en tu casa. Necesitas probarlo con gente de diferentes barrios, edades y gustos.

La analogía: Imagina que quieres probar tu nuevo pastel. No le das a probar solo a tus hijos (que siempre dicen que está rico). Le das a probar a niños, adultos, ancianos, gente que no le gusta el dulce, etc.
En la IA: El equipo selecciona datos de prueba que reflejen la realidad (diferentes tipos de transacciones, diferentes condiciones de luz, etc.) para que la prueba sea justa y realista.

3. La Prueba de "Repetición Mágica" (Bootstrapping)

Aquí viene la magia estadística. Como la IA es un poco caótica, no basta con probarla una vez.

La analogía: Imagina que tienes una olla gigante con tu sopa. En lugar de probarla una vez, sacas una cuchara, la pruebas, la devuelves a la olla, y repites esto 1,000 veces. Cada vez que pruebas, la temperatura o el sabor pueden variar ligeramente.
En la IA: Usan una técnica llamada Bootstrapping. Toman los datos de prueba y los "mezclan" virtualmente 1,000 veces para ver cómo se comporta la IA en diferentes escenarios.
El resultado: En lugar de decir "La IA acierta el 99% de las veces", dicen: "Estamos 95% seguros de que la IA acierta entre un 98.5% y un 99.6%". ¡Esa es la Confianza! Sabes el rango de seguridad.

4. El Índice de Capacidad (¿Es el Chef un Maestro?)

Finalmente, calculan un número único, el Índice Cpk, que resume todo.

La analogía: Es como una nota escolar que no solo dice "Aprobado", sino que te dice qué tan cerca estás de reprobar.
- Si tu nota es 10/10, pero el límite para aprobar es 6, y tu cocina es muy inestable (a veces das 6, a veces 10), el índice te dirá: "Cuidado, estás en la cuerda floja".
- Si tu nota es 10/10 y siempre das 10, el índice será alto y seguro.
En la IA:
- Cpk < 1.0: ¡Peligro! El sistema es inestable. Aunque el promedio sea bueno, a veces falla demasiado. No lo lances a producción.
- Cpk > 2.0: ¡Excelente! El sistema es tan bueno y estable que puedes dormir tranquilo.

¿Qué pasó en la vida real? (Los Casos de Estudio)

Los autores probaron esto con dos empresas reales:

Un sistema para medir espacio en barcos petroleros: La IA tenía un promedio de acierto del 83% (parecía bueno, ya que la meta era 70%). Pero al aplicar el método, vieron que la "zona de seguridad" era muy estrecha. El índice fue bajo (1.12). Conclusión: "Puedes usarlo, pero ten mucho cuidado y vigílalo de cerca".
Un sistema para detectar fraudes con tarjetas de crédito: La IA tenía un 99.1% de aciertos. El índice fue muy alto (1.98). Conclusión: "¡Está listo! Es muy robusto y seguro".

¿Qué dicen los expertos?

El equipo entrevistó a 4 expertos en IA (ingenieros, científicos de datos) y les mostró su método.

¿Les gustó? ¡Sí! Dijeron que es muy útil porque cambia la conversación de "¿Funciona?" a "¿Qué tan seguro es que funcione?".
¿Es difícil? La parte de "mezclar los datos" (Bootstrapping) les pareció un poco técnica al principio, pero dijeron que es fácil de entender una vez que te acostumbras.
¿Lo usarían? ¡Definitivamente! Dijeron que les gustaría usarlo para tomar decisiones más seguras antes de lanzar sus productos.

En Resumen

Este paper nos dice: Deja de confiar solo en el promedio.

En el mundo de la IA, un promedio alto puede ser una ilusión. El método SCFC nos ayuda a ver la variabilidad (los altibajos) y nos da una medida de confianza (como un cinturón de seguridad estadístico) para saber si podemos lanzar un producto al mercado o si necesitamos mejorarlo más.

Es como pasar de decir "Este coche parece ir bien" a decir "Este coche tiene un 95% de probabilidad de frenar a tiempo en cualquier condición, así que es seguro para la carretera".

Título: Confianza Estadística en la Corrección Funcional: Un Enfoque para la Evaluación de la Corrección Funcional de Productos de IA

1. El Problema

La evaluación de la calidad de los sistemas de Inteligencia Artificial (IA) presenta un desafío fundamental debido a su naturaleza inherentemente probabilística y adaptativa, en contraste con el software tradicional determinista.

Incompatibilidad Paradigmática: Las metodologías de prueba tradicionales (basadas en entradas/salidas fijas) son inadecuadas para modelos de IA, donde la salida "correcta" puede ser incierta o aproximada dentro de un rango probabilístico.
Falta de Robustez Estadística: Aunque existen estándares como ISO/IEC 25059 (adaptación de ISO/IEC 25010 para IA), estos carecen de métodos prácticos y estadísticamente robustos para evaluar la "corrección funcional".
El Problema del "Oráculo de Prueba": En IA, definir la salida esperada es complejo. Las evaluaciones actuales suelen basarse en estimaciones puntuales (ej. una precisión del 83%), las cuales ocultan la variabilidad del modelo y generan una falsa sensación de seguridad, sin cuantificar el riesgo de que el sistema falle en producción.

2. Metodología: Enfoque SCFC

Los autores proponen el enfoque Confianza Estadística en la Corrección Funcional (SCFC), un método de cuatro pasos que integra el muestreo estadístico, la inferencia y el análisis de capacidad de procesos (inspirado en Six Sigma) para evaluar la corrección funcional.

Definición de Límites de Especificación Funcional:
- Traducir necesidades de negocio en criterios de aceptación cuantitativos y objetivos.
- Establecer un Límite de Especificación Inferior (LSL) (ej. "la recuperación de fraudes debe ser $\ge$ 95%") o un Límite de Especificación Superior (USL) (ej. "tasa de falsos positivos $\le$ 2%").
Muestreo Estratificado y Probabilístico:
- Recopilar una muestra de prueba representativa utilizando muestreo estratificado (colaborando con expertos de dominio) para asegurar que subpoblaciones críticas (ej. transacciones de alto valor, regiones específicas) estén adecuadamente representadas, evitando sesgos de selección.
Aplicación de Bootstrapping y Cálculo de Intervalos de Confianza:
- En lugar de confiar en una sola métrica, se aplica la técnica de remuestreo no paramétrica Bootstrapping (con 1000 iteraciones) sobre la muestra original.
- Esto genera una distribución empírica de la métrica de rendimiento, permitiendo calcular un Intervalo de Confianza (IC) (usualmente al 95%). Esto cuantifica la incertidumbre: en lugar de decir "el rendimiento es 89%", se dice "con un 95% de confianza, el rendimiento real está entre [87% - 91%]".
Cálculo y Análisis del Índice de Capacidad ( $C_{pk}$ ):
- Se calcula un índice de capacidad adaptado de la fórmula Six Sigma ( $C_{pk}$ ), pero utilizando los límites del Intervalo de Confianza en lugar de la desviación estándar tradicional (para manejar distribuciones no normales).
- Fórmula: Compara la distancia entre la media del rendimiento y el límite de especificación, normalizada por la distancia entre la media y el límite del IC.
- Interpretación:
  - $C_{pk} < 1.0$ : Inaceptable (el sistema no cumple consistentemente).
  - $C_{pk} = 1.0$ : Capacidad mínima (en el límite, requiere monitoreo).
  - $C_{pk} > 2.0$ : Excelente (alta confianza en el cumplimiento).

3. Contribuciones Clave

Cambio de Paradigma: Mueve la evaluación de una "estimación puntual" a una "declaración de confianza estadística", incorporando explícitamente la variabilidad del modelo en la toma de decisiones.
Operacionalización de Estándares: Proporciona un método práctico para aplicar los conceptos de calidad de ISO/IEC 25059 en contextos industriales reales.
Índice de Capacidad para IA: Adapta el $C_{pk}$ para métricas de IA no paramétricas, ofreciendo un indicador único que resume tanto el rendimiento promedio como el riesgo de incumplimiento.
Validación Empírica: Demuestra la viabilidad del enfoque mediante estudios de caso reales y validación cualitativa con expertos de la industria.

4. Resultados

El enfoque se evaluó mediante un estudio de caso en dos sistemas de IA reales y entrevistas con cuatro expertos de la industria:

Caso 1: Estimación de Espacio en Cubierta de Carga (Plataformas Petroleras):
- Requisito: Precisión $\ge$ 70%.
- Resultado Puntual: 83% (parecía seguro).
- Resultado SCFC: $C_{pk} = 1.12$ . El IC inferior (71.43%) estaba muy cerca del límite (70%).
- Decisión: El sistema es desplegable, pero con riesgo alto y requiere monitoreo continuo, ya que el margen de seguridad es estrecho.
Caso 2: Detección de Fraude con Tarjetas de Crédito:
- Requisito: Recall $\ge$ 98%.
- Resultado Puntual: 99.1%.
- Resultado SCFC: $C_{pk} = 1.98$ . El IC inferior (98.55%) estaba cómodamente por encima del límite.
- Decisión: El sistema es robusto y altamente confiable para producción.
Feedback de Expertos (Entrevistas):
- Aceptación Alta: Los expertos consideraron el enfoque útil, robusto y fácil de aplicar.
- Utilidad: Valoraron especialmente la capacidad de definir expectativas de los interesados (stakeholders) mediante intervalos de confianza y el uso de $C_{pk}$ como métrica unificada para decisiones de despliegue.
- Limitaciones Identificadas: Se señaló que la definición de límites depende de la madurez de los interesados y que el muestreo estratificado debe adaptarse a contextos específicos (ej. sobre-muestreo de clases minoritarias en fraude).

5. Significado e Impacto

El artículo es significativo porque aborda una brecha crítica en la ingeniería de software de IA: la falta de herramientas para cuantificar el riesgo de despliegue más allá de la precisión promedio.

Para la Industria: Ofrece un marco para tomar decisiones de despliegue basadas en datos estadísticos sólidos, reduciendo la subjetividad y mejorando la seguridad y confiabilidad de los sistemas de IA.
Para la Investigación: Propone una metodología que conecta los requisitos de negocio con la estadística inferencial, sentando las bases para futuras herramientas de aseguramiento de calidad en MLOps.
Conclusión Final: El enfoque SCFC es una vía factible y valiosa para operacionalizar la evaluación de la corrección funcional, transformando la discusión sobre la calidad de la IA de una simple medición de rendimiento a una gestión informada de la incertidumbre y el riesgo.