Resumen Técnico: ADMITBench – Un Marco de Referencia Gobernado por la Seguridad

1. Declaración del Problema

En las operaciones industriales, la seguridad de un sistema no está determinada únicamente por la corrección de un diagnóstico, sino por la admisibilidad de la acción propuesta. Las evaluaciones existentes de los Modelos de Lenguaje de Gran Escala (LLM) en entornos industriales suelen centrarse en la clasificación de fallos, la explicación de sensores o la ejecución de tareas generales. Sin embargo, un modelo puede identificar correctamente un fallo (por ejemplo, una pérdida de enfriamiento en un reactor) y, aun así, recomendar una intervención que viola los procedimientos operativos, excede la autoridad delegada, depende de datos de sensores no fiables o conduce a consecuencias físicas inaceptables.

Los benchmarks actuales no abordan el "vacío entre el diagnóstico y la acción". No evalúan suficientemente si una recomendación es permisible bajo restricciones específicas de la planta, funciones instrumentadas de seguridad o consecuencias de proceso dependientes del tiempo. ADMITBench aborda esto desplazando la unidad de evaluación del la respuesta en lenguaje natural al registro de la acción propuesta, evaluando si dicha acción es admisible dentro de un contexto versionado y gobernado por la seguridad.

2. Metodología

ADMITBench opera como un marco de referencia que evalúa los avisos de los LLM industriales frente a un perfil de planta versionado (denominado "cartucho"). La metodología se basa en una jerarquía de evaluación no compensatoria, lo que significa que un fallo en cualquier puerta de seguridad crítica invalida la acción completa, independientemente de su desempeño en otras áreas.

2.1 Componentes Principales

• Registro de Acción (Action Record): La unidad de evaluación es un registro estructurado que contiene la acción propuesta, el diagnóstico afirmado, la evidencia citada, el alcance de la autoridad, los niveles de confianza y las rutas de recuperación. Esto reemplaza las respuestas de texto libre para garantizar la auditabilidad.
• Perfiles de Planta (Cartuchos): La lógica específica de la planta (casos de seguridad, procedimientos, grafos de sistemas y modelos de consecuencias) se encapsula en cartuchos versionados. La lógica de evaluación común permanece separada del contenido específico de la planta para asegurar la portabilidad.
• Modelo de Autoridad: El marco distingue entre tres configuraciones de despliegue:
  • A0 (Asesoría/Advisory): El modelo recomienda verificación o escalada, pero no puede emitir comandos directos.
  • A1 (Supervisado): El modelo propone acciones acotadas para la aprobación humana.
  • A2 (Autónomo Restringido): El modelo propone acciones dentro de una gramática estricta y un envolvente operativo.
  • Nota: La autoridad puede reducirse debido a evidencia degradada, pero no puede expandirse basándose en las afirmaciones del modelo.

2.2 La Jerarquía de Evaluación (T0–T6)

El marco emplea un sistema por niveles donde T0–T4 son puertas duras (no compensatorias), T5 es para el ranking de utilidad y T6 es para auditoría.

• T0 (Integridad del Registro): Verifica la completitud estructural, la validez de los tipos y la compilación exitosa contra el grafo del caso de seguridad.
• T1 (Validez de Evidencia y Estado): Verifica que la decisión se base en evidencia disponible, temporalmente válida y consistente.
• T2 (Comprensión de Peligros y Causalidad): Asegura que el registro aborde el peligro relevante para la decisión de manera suficiente para justificar la acción o que escale apropiadamente si la comprensión es insuficiente.
• T3 (Admisibilidad de la Acción): Valida la autoridad, la conformidad con los procedimientos, las precondiciones, la reversibilidad y las obligaciones de recuperación.
• T4 (Verificación de Consecuencias Físicas): Utiliza comprobaciones dinámicas o basadas en reglas para verificar que la acción evite consecuencias físicas inaceptables durante un horizonte de verificación definido.
• T5 (Ranking de Utilidad): Se aplica únicamente a los registros que pasan T0–T4. Clasifica las acciones elegibles según su eficiencia, disrupción o preferencia.
• T6 (Trazabilidad): Registra el vínculo de la fuente y la evidencia de auditoría para la reproducibilidad.

2.3 Elegibilidad y Puntuación

Un registro que falla en cualquier puerta dura (T0–T4) recibe una puntuación agregada de Ninguna (inelegible) y es excluido del ranking de utilidad. Solo los registros elegibles reciben una puntuación agregada ponderada basada en las subpuntuaciones de T1–T5. Este diseño asegura que las acciones "seguras" pero "inútiles" no sean penalizadas, mientras que las acciones "útiles" pero "inseguras" sean estrictamente rechazadas.

3. Contribuciones Clave

La versión 0.1.0 de ADMITBench proporciona las siguientes contribuciones específicas:

1. Un Marco de Referencia: Un enfoque estructurado para evaluar los avisos de LLM industriales a nivel de acción en lugar de a nivel de diagnóstico.
2. Formato Común de Registro de Acción: Un esquema para parsear las salidas del modelo en registros estructurados que contienen diagnóstico, evidencia, autoridad y datos de recuperación.
3. Jerarquía de Evaluación No Compensatoria: Un mecanismo de filtrado estricto (T0–T4) que evita que las acciones inseguras sean calificadas con puntuaciones altas debido a otras fortalezas.
4. Perfiles de Planta Implementados: Se liberan dos cartuchos de referencia:
   • cstr_alpha: Un perfil de reactor de tanque agitado continuo (CSTR) con enfriamiento por camisa para evaluar la evidencia, la comprensión de peligros y las consecuencias físicas.
   • column_alpha: Un perfil de columna de destilación que incluye un caso específico (D03) para probar el desajuste de autoridad y los requisitos de escalada.
5. Implementación Pública: Un repositorio que contiene la lógica del evaluador, los dos cartuchos y las herramientas de reporte.

4. Resultados y Limitaciones

El documento no presenta resultados comparativos amplios entre múltiples modelos ni reclama validez industrial general. En su lugar, demuestra la viabilidad del formato de evaluación:

• El marco procesa con éxito los registros de acción de los dos perfiles liberados (cstr_alpha y column_alpha).
• Identifica y separa correctamente la precisión del diagnóstico de la admisibilidad de la acción.
• Implementa con éxito las acciones de "retener" (hold), "verificar" (verify) y "escalar" (escalate) como respuestas válidas cuando la evidencia es degradada.

Limitaciones Explícitas y No Afirmaciones:

• No es un Certificado de Seguridad: El marco es una herramienta de evaluación técnica, no una certificación de seguridad funcional, una prueba de aceptación en sitio o una autorización de despliegue.
• Generalidad Limitada: Los dos perfiles liberados son entornos de referencia, no representaciones completas de operaciones industriales. No se establece una generalidad industrial amplia.
• Sin Validación de Factores Humanos: El marco no prueba la adecuación de los factores humanos (por ejemplo, la confianza del operador o el sesgo de automatización).
• Sin Despliegue Autónomo: La versión 0.1.0 es solo para investigación y evaluación técnica; no autoriza la ejecución física de controladores autónomos.

5. Significado y Reivindicaciones

El documento posiciona a ADMITBench como un marco de referencia para hacer que la evaluación a nivel de acción sea explícita, inspeccionable y reproducible. Su principal importancia radica en:

• Cambiar el Enfoque: Mover la conversación de la industria de "¿Puede el modelo diagnosticar?" a "¿Es la acción propuesta admisible?".
• Gobernanza de la Seguridad: Implementar un contrato de evaluación gobernado por la seguridad donde la elegibilidad se determina mediante comprobaciones explícitas y no compensatorias derivadas de perfiles de planta versionados.
• Reproducibilidad: Proporcionar una estructura donde cada veredicto de la puerta es reproducible frente a un registro de acción fijo, una versión del evaluador y un perfil de planta.

Los autores declaran explícitamente que el lanzamiento actual es una implementación de referencia pública para evaluación técnica y de investigación. El trabajo futuro incluye la validación de la portabilidad utilizando el proceso de Tennessee Eastman, la introducción de divisiones adversariales y el desarrollo de un registro para cartuchos revisados de forma independiente. El documento concluye que, si bien el marco proporciona un método riguroso para evaluar el "vacío entre el diagnóstico y la acción", sigue siendo una herramienta para la revisión y el aseguramiento de ingeniería, no un reemplazo para el juicio humano responsable o la certificación formal de seguridad.