Resumen Técnico: La Brecha de Evaluabilidad de la IA

Declaración del Problema

Las organizaciones que despliegan IA a escala enfrentan un desafío dual: gestionar el riesgo de la IA (determinar si un sistema es lo suficientemente seguro, justo, fiable y conforme para operar) y sostener el valor de la IA (determinar si un sistema justifica la continuación de la asignación de recursos). Las prácticas de gobernanza actuales suelen fallar porque tratan estos como problemas separados con propietarios y vocabularios distintos, o porque se centran en las propiedades del sistema en lugar de en la evidencia necesaria para tomar decisiones sobre ellas.

El documento identifica una condición subyacente fundamental denominada la Brecha de Evaluabilidad de la IA: el estado en el que las organizaciones carecen de evidencia suficiente para respaldar decisiones de gobernanza de alta confianza, ya sea respecto al riesgo o al valor. Esta brecha conduce a dos modos de falla:

1. Sobre-despliegue: Aceptar riesgos no medidos debido a la insuficiencia de evidencia de seguridad.
2. Sub-inversión: Renunciar a un valor no medido debido a la insuficiencia de evidencia de beneficio.

Los autores argumentan que los marcos actuales sufren un "error de categoría", tratando la gobernanza como sinónimo de gestión de riesgos y asumiendo que la suficiencia de la evidencia es un hecho dado en lugar de un objeto primario de la gobernanza. Además, las prácticas existentes a menudo no tienen en cuenta la no-estacionariedad de los sistemas de IA, donde la evidencia decae rápidamente debido a la adaptación del usuario, el reentrenamiento de modelos y los cambios en los entornos.

Metodología y Marco de Trabajo

El documento propone la Evaluabilidad como un nuevo marco teórico para abordar esta brecha. En lugar de prescribir métricas específicas o métodos estadísticos, la Evaluabilidad define las condiciones de evidencia bajo las cuales las decisiones de gobernanza se vuelven defendibles.

Definición Central

Evaluabilidad se define como la capacidad de un sistema para generar, mantener y renovar evidencia suficiente para respaldar decisiones de gobernanza de alta confianza respecto a su operación y asignación de recursos a lo largo del tiempo.

Formalmente, la Evaluabilidad es una función de seis propiedades del flujo de evidencia de un sistema de IA:
$$\text{Evaluabilidad} = f(O, A, I, V, C, T)$$
Donde:

• Observabilidad (O): ¿Pueden observarse los resultados relevantes para la decisión? (p. ej., registros, telemetría, resultados de negocio).
• Atribuibilidad (A): ¿Puede aislarse la contribución de la IA de los factores de confusión? (Requiere un diseño causal o cuasi-experimental).
• Intervenibilidad (I): ¿Puede modificarse el sistema para probar afirmaciones y responder a fallos? (p. ej., reversión, pruebas A/B).
• Verificabilidad (V): ¿Puede una parte independiente auditar y reproducir el análisis?
• Calibración (C): ¿Corresponden los niveles de confianza declarados con las frecuencias observadas de corrección?
• Validez Temporal (T): ¿Sigue siendo relevante la evidencia a medida que el entorno y el sistema evolucionan?

Formulación Centrada en la Decisión

El marco desplaza el enfoque de medir las propiedades del sistema a evaluar la confianza en una decisión ($D$) dada una base de evidencia ($E$).

• Confianza ($Conf(D|E)$): Un estado epistémico respecto a la suficiencia de la evidencia, no una probabilidad de un estado del mundo.
• Regla de Decisión: Una acción $D$ está justificada si y solo si $Conf(D|E) > \tau(D)$, donde $\tau$ es un umbral determinado por la materialidad de la decisión y la asimetría del error.
• La Brecha: La Brecha de Evaluabilidad existe cuando $Conf(D|E) < \tau(D)$.

Dos Clases de Certificación

El marco distingue entre dos tipos de decisiones de gobernanza, cada una de las cuales requiere diferentes estructuras de evidencia:

1. Certificación Operativa: Determina si un sistema puede operar. Se basa en evidencia estructural (verificación, pruebas de estrés, evaluación adversaria) para establecer la ausencia de modos de fallo. El estándar de evidencia es típicamente alto.
2. Certificación de Inversión: Determina si un sistema merece recursos continuos. Se basa en evidencia causal (razonamiento contrafáctico, despliegues aleatorios) para establecer la generación de valor. El estándar de evidencia escala con la materialidad del gasto.

El Ciclo de Evaluabilidad

Las seis propiedades no son una lista de verificación estática, sino un ciclo continuo:

1. La Observabilidad captura lo que sucedió.
2. La Atribuibilidad vincula los resultados con la IA.
3. La Verificabilidad permite la confianza independiente.
4. La Calibración asegura que las declaraciones de confianza sean dignas de confianza.
5. La Validez Temporal evaliza si la evidencia sigue siendo actual.
6. La Intervenibilidad permite la acción (pruebas, reentrenamiento) cuando surge la incertidumbre, generando nuevas observaciones para reiniciar el ciclo.

El marco enfatiza que la evidencia es perecedera. En ausencia de renovación, la confianza decae con el tiempo ($Conf(D|E(t)) \to Conf(D|\emptyset)$), lo que requiere una recertificación continua en lugar de una aprobación única.

Capa Institucional

Para evitar la captura epistémica, el marco propone un modelo institucional distribuido:

• Productores de Evidencia: Equipos de ingeniería y datos que generan registros y resultados.
• Verificadores de Evidencia: Funciones de riesgo, auditoría y finanzas que validan la integridad y la calibración.
• Adjudicadores de Evidencia: Juntas o comités que establecen umbrales y resuelven conflictos entre certificaciones.

Contribuciones Clave

El documento realiza tres contribuciones principales:

1. Unificación de los Objetos de Gobernanza: Identifica la suficiencia de la evidencia como el objeto unificador a través de los dominios de gobernanza, formalizándolo mediante la función $Conf(D|E)$. Argumenta que la gobernanza no trata de medir propiedades (seguridad, valor) directamente, sino de determinar si existe evidencia suficiente para tomar decisiones sobre esas propiedades.
2. Certificación Operativa vs. de Inversión: Introduce una distinción estructural entre decisiones operativas y de inversión. Esto aclara la confusión respecto al "valor" en las taxonomías de gobernanza, permitiendo que las organizaciones afirmen coherentemente que un sistema es operativamente seguro pero no digno de inversión (o viceversa), resolviendo así la parálisis de la gobernanza.
3. Elevación de la Validez Temporal y la Calibración: Eleva la validez temporal y la calibración de preocupaciones periféricas a propiedades de primer orden. El documento argumenta que la gobernanza de IA actual es rica en monitoreo pero pobre en calibración, lo que lleva a "decisiones confiadas cuya confianza es, en sí misma, injustificada".

Resultados y Afirmaciones

El documento no presenta resultados experimentales empíricos, ya que es un marco teórico. Sus "resultados" son proposiciones lógicas y argumentos estructurales:

• Proposición 3.1 (No Identificabilidad de la Gobernanza): Dos sistemas de IA con resultados observados indistinguibles pueden requerir diferentes decisiones de gobernanza porque la confianza justificada por sus flujos de evidencia difiere. La gobernanza no puede inferirse de los resultados por sí solos; depende de la estructura y la procedencia de la evidencia.
• La Necesidad de las Seis Propiedades: Un sistema puede ser preciso o rentable, pero aún puede fallar la prueba de Evaluabilidad si la evidencia que lo respalda es unverificable, no calibrada u obsoleta.
• El Decaimiento de la Evidencia: El documento afirma que en la IA, la evidencia decae rápidamente debido a la no-estacionariedad, la emergencia de capacidades y la adaptación humana. Por lo tanto, la gobernanza debe ser un proceso continuo de recertificación ligado a tasas de decaimiento estimadas empíricamente, no a convenciones de calendario.

Significado y Alcance

Los autores posicionan la Evaluabilidad como un sustrato para los marcos de gobernanza existentes (como NIST RMF, ISO/IEC 42001 y casos de aseguramiento) en lugar de un reemplazo.

• Lo que es: Un marco para determinar si existe suficiente evidencia para respaldar decisiones de alta confianza. Proporciona los estándares arquitectónicos para la generación y validación de evidencia.
• Lo que no es: No determina si un sistema es realmente seguro, justo, fiable o valioso. No reemplaza los modelos de riesgo específicos del dominio, las métricas de equidad o los calculadores de ROI. No prescribe métodos estadísticos específicos para la inferencia causal o la representación de la confianza (permitiendo enfoques bayesianos, frecuntistas o de Dempster-Shafer).

El documento concluye que a medida que los sistemas de IA se vuelven más dinámicos y autónomos, la capacidad de generar, mantener y renovar la evidencia (Evaluabilidad) puede volverse tan crítica como los modelos subyacentes mismos. El marco tiene como objetivo cerrar la brecha entre la complejidad de los sistemas de IA modernos y la suficiencia de la evidencia necesaria para gobernarlos de manera responsable.