Making AI-Assisted Grant Evaluation Auditable without Exposing the Model

A continuación se presenta un resumen técnico detallado del artículo "Making AI-Assisted Grant Evaluation Auditable without Exposing the Model" de Kemal Bicakci.

1. Planteamiento del Problema

Las agencias de financiación pública están adoptando cada vez más Modelos de Lenguaje Grande (LLM) como herramientas de apoyo a la toma de decisiones para la evaluación de subvenciones. Esto genera una tensión fundamental de gobernanza entre dos requisitos en competencia:

• Confidencialidad del Modelo: Para evitar el "juego" (donde los solicitantes optimizan sus propuestas para explotar sesgos específicos del modelo o la lógica de puntuación en lugar del mérito genuino), los pesos del modelo, la rúbrica de puntuación y las plantillas de indicaciones deben permanecer opacos para los solicitantes.
• Auditabilidad del Proceso: Las decisiones de financiación pública deben ser transparentes, impugnables y responsables. Los solicitantes y los auditores necesitan evidencia criptográfica de que se utilizaron realmente el modelo y la rúbrica declarados, de que la entrada no fue alterada y de que la salida no fue manipulada.

Las soluciones actuales dependen de la confianza institucional, lo cual es insuficiente para una rendición de cuentas algorítmica rigurosa. Además, el procesamiento de documentos controlados por el solicitante introduce riesgos de seguridad específicos, particularmente la inyección de indicaciones (instrucciones ocultas en las presentaciones destinadas a manipular el LLM).

2. Metodología: Arquitectura Basada en Entornos de Ejecución Confiables (TEE)

El artículo propone una arquitectura de sistema basada en Entornos de Ejecución Confiables (TEE) y Atestación Remota (RA) para resolver el compromiso entre confidencialidad y auditabilidad. El sistema opera bajo el principio de que, aunque el contenido de la evaluación permanece confidencial, la integridad del proceso puede verificarse criptográficamente.

Componentes Principales

La arquitectura consta de cinco capas distintas:

1. Ingesta y Canonización de Presentaciones (Fuera del TEE):

   • Recibe archivos crudos del solicitante (PDF, DOCX, etc.).
   • Calcula el hash del archivo original ($H_{orig}$).
   • Saneamiento: Analiza y elimina contenido no visible (metadatos, capas ocultas, scripts) para crear una representación de texto "canónica".
   • Detección de Inyección: Escanea patrones de inyección de indicaciones (por ejemplo, texto invisible, homógrafos de Unicode, comandos imperativos). Las anomalías se marcan pero no se descartan en silencio; se registran en un informe de saneamiento.
   • Calcula el hash de la entrada canónica ($H_{can}$).

2. Arranque de Atestación (Dentro del TEE):

   • El TEE (por ejemplo, Intel TDX, AMD SEV-SNP) se inicia.
   • La CPU mide el estado inicial: el tiempo de ejecución de inferencia, los pesos del modelo, la rúbrica y la plantilla de indicaciones.
   • Se genera una medición criptográfica ($M$) firmada por la raíz de confianza de hardware de la CPU.
   • Un verificador externo comprueba este Informe de Atestación ($A$) contra un Manifiesto de Referencia ($R$) público para asegurar que se cargaron el software y la política correctos.

3. Núcleo de Inferencia de Evaluación (Dentro del TEE):

   • Se carga la entrada canónica.
   • El sistema construye la indicación completa (Indicación del Sistema + Rúbrica + Presentación Canónica).
   • El LLM realiza la inferencia, generando puntuaciones, justificaciones y banderas de incertidumbre.
   • La salida se hash antes de salir del entorno seguro ($H_O$).

4. Firma de Salida Atestada (Dentro del TEE):

   • Antes de salir del TEE, se ensambla un Paquete de Evaluación Atestada ($B$).
   • Contenido del Paquete: Hash original, hash canónico, hash de entrada, hash de salida, medición del modelo/rúbrica ($M$), informe de atestación ($A$), marca de tiempo y la salida de la evaluación ($O$).
   • El paquete se firma con una clave efímera generada dentro del TEE, vinculando la salida al estado de hardware y configuración específicos.

5. Registro de Auditoría y Verificación (Fuera del TEE):

   • El paquete firmado se escribe en un registro a prueba de manipulaciones (por ejemplo, basado en árbol de Merkle).
   • Los auditores pueden verificar independientemente el paquete contra el Manifiesto de Referencia y la cadena de certificados del fabricante de la CPU para confirmar la integridad del proceso.

3. Contribuciones Clave

1. Enmarcado del Problema: Define la evaluación de subvenciones asistida por IA como un problema específico de "confidencialidad-auditabilidad", distinguiendo entre probar una buena decisión (lo cual la atestación no puede hacer) y probar el proceso correcto (lo cual sí puede hacer).
2. Paquete de Evaluación Atestada: Propone un artefacto novedoso que vincula criptográficamente la presentación, la configuración específica del modelo/rúbrica y la salida, permitiendo la verificación por terceros sin exponer los pesos del modelo.
3. Capa de Canonización y Saneamiento: Integra una defensa específica contra la inyección de indicaciones normalizando las representaciones de documentos y registrando las acciones de saneamiento como parte de la pista de auditoría, abordando una vulnerabilidad crítica en la evaluación basada en LLM.
4. Análisis Comparativo: Delimita claramente los compromisos entre la atestación basada en TEE y alternativas criptográficas más fuertes pero actualmente poco prácticas, como el Aprendizaje Automático de Conocimiento Cero (ZK-ML) y el Cómputo Homomórfico Total (FHE).

4. Resultados y Análisis de Seguridad

La arquitectura propuesta mitiga eficazmente el modelo de amenazas identificado:

• Juego del Solicitante (T1): Mitigado porque el modelo y la rúbrica permanecen cifrados dentro del TEE; los solicitantes no pueden ingeniería inversa la lógica de puntuación.
• Inyección de Indicaciones (T2): Mitigada por la capa de canonización que elimina instrucciones ocultas y registra anomalías.
• Manipulación Post-hoc (T3): Prevenida porque la salida se firma dentro del TEE antes de salir; cualquier modificación invalida la firma.
• Modelo/Rúbrica Incorrectos (T4): Prevenido por la Atestación Remota; si se carga el software incorrecto, el hash de medición no coincidirá con el Manifiesto de Referencia, provocando el fallo de la verificación.
• Silenciamiento de Entrada (T5): Prevenido registrando el hash del archivo original ($H_{orig}$) antes de la canonización, asegurando que el auditor pueda verificar que se procesó la presentación completa.
• Brecha de Infraestructura (T6): Mitigada por el cifrado de memoria del TEE, evitando que los operadores de la nube o los hipervisores accedan a los pesos del modelo o estados intermedios.

Limitaciones:

• Alcance de la Garantía: La atestación prueba que el proceso fue correcto, no que la decisión fue justa, imparcial o científicamente sólida.
• Confianza en el Hardware: El sistema depende de la integridad de las claves de atestación del fabricante de la CPU y de la ausencia de vulnerabilidades de canales laterales de microarquitectura.
• Rendimiento: La inferencia en TEE introduce latencia y sobrecarga en comparación con la inferencia en la nube estándar.
• Brechas de Canonización: Ninguna capa de saneamiento puede garantizar la detección del 100% de todas las futuras técnicas de inyección esteganográfica.

5. Significado

Este artículo proporciona una línea base técnica práctica y a corto plazo para implementar IA responsable en la toma de decisiones de alto riesgo en el sector público.

• Cerrando la Brecha de Confianza: Mueve la evaluación de IA de una "caja negra" que depende únicamente de la confianza institucional a un sistema con evidencia criptográfica de la integridad del proceso.
• Relevancia Política: Ofrece un mecanismo concreto para que las agencias públicas satisfagan los requisitos de rendición de cuentas algorítmica (transparencia, impugnabilidad) sin comprometer la propiedad intelectual ni permitir el juego.
• Humano en el Bucle: La arquitectura apoya explícitamente un modelo de "humano en el bucle" donde la IA proporciona apoyo a la decisión auditable, pero los paneles humanos retienen la autoridad final, asegurando que la primacía legal y normativa permanezca en manos humanas.

En conclusión, el artículo argumenta que, aunque la atestación remota no resuelve los desafíos de gobernanza más amplios del sesgo o la equidad en la IA, resuelve con éxito el problema específico de verificar que el sistema de IA declarado fue el que realmente tomó la decisión, permitiendo así una infraestructura de evaluación de subvenciones más confiable e impugnable.