Resumo Técnico: ADMITBench – Um Framework de Referência Governado por Segurança

1. Declaração do Problema

Em operações industriais, a segurança de um sistema não é determinada apenas pela correção de um diagnóstico, mas pela admissibilidade da ação proposta. As avaliações existentes de Grandes Modelos de Linguagem (LLMs) em ambientes industriais focam frequentemente na classificação de falhas, explicação de sensores ou conclusão de tarefas gerais. No entanto, um modelo pode identificar corretamente uma falha (ex: uma perda de resfriamento em um reator), mas recomendar uma intervenção que viola procedimentos operacionais, excede a autoridade delegada, baseia-se em dados de sensores não confiáveis ou leva a consequências físicas inaceitáveis.

Os benchmarks atuais falham em abordar o "hiato do diagnóstico à ação" (diagnosis-to-action gap). Eles não avaliam suficientemente se uma recomendação é permissível sob restrições específicas da planta, funções instrumentadas de segurança e consequências de processo dependentes do tempo. O ADMITBench aborda isso ao deslocar a unidade de avaliação do resposta em linguagem natural para o registro da ação proposta, avaliando se essa ação é admissível dentro de um contexto versionado e governado por segurança.

2. Metodologia

O ADMITBench opera como um framework de referência que avalia os avisos de LLMs industriais contra um perfil de planta versionado (referido como um "cartucho"). A metodologia é construída sobre uma hierarquia de avaliação não compensatória, o que significa que uma falha em qualquer portão de segurança crítico torna a ação inteira inelegível, independentemente do desempenho em outras áreas.

2.1 Componentes Principais

• Registro de Ação (Action Record): A unidade de avaliação é um registro estruturado contendo a ação proposta, o diagnóstico assertivo, a evidência citada, o escopo de autoridade, níveis de confiança e caminhos de recuperação. Isso substitui respostas de texto livre para garantir a auditabilidade.
• Perfis de Planta (Cartuchos): A lógica específica da planta (casos de segurança, procedimentos, grafos de sistema e modelos de consequência) é encapsulada em cartuchos versionados. A lógica de avaliação comum permanece separada do conteúdo específico da planta para garantir a portabilidade.
• Modelo de Autoridade: O framework distingue três configurações de implantação:
  • A0 (Consultivo/Advisory): O modelo recomenda verificação ou escalonamento, mas não pode emitir comandos diretos.
  • A1 (Supervisionado/Supervised): O modelo propõe ações delimitadas para aprovação humana.
  • A2 (Autônomo Restrito/Constrained Autonomous): O modelo propõe ações dentro de uma gramática estrita e envelope operacional.
  • Nota: A autoridade pode diminuir devido a evidências degradadas, mas não pode expandir-se com base em alegações do modelo.

2.2 A Hierarquia de Avaliação (T0–T6)

O framework emprega um sistema em camadas onde T0–T4 são portões rígidos (não compensatórios), T5 é para ranking de utilidade e T6 é para auditoria.

• T0 (Integridade do Registro): Verifica a completude estrutural, validade de tipo e compilação bem-sida contra o grafo do caso de segurança.
• T1 (Validade de Evidência e Estado): Verifica se a decisão é baseada em evidências disponíveis, temporalmente válidas e consistentes.
• T2 (Compreensão de Perigo e Causalidade): Garante que o registro aborde o perigo relevante para a decisão de forma suficiente para justificar a ação ou realize o escalonamento apropriado caso a compreensão seja insuficiente.
• T3 (Admissibilidade da Ação): Valida autoridade, conformidade de procedimento, precondições, reversibilidade e obrigações de recuperação.
• T4 (Verificação de Consequência Física): Utiliza verificações dinâmicas ou baseadas em regras para verificar se a ação evita consequências físicas inaceitáveis ao longo de um horizonte de verificação definido.
• T5 (Ranking de Utilidade): Aplicado apenas a registros que passam por T0–T4. Classifica ações elegíveis com base em eficiência, interrupção ou preferência.
• T6 (Rastreabilidade): Registra o vínculo de origem e evidência de auditoria para reprodutibilidade.

2.3 Elegibilidade e Pontuação

Um registro que falha em qualquer portão rígido (T0–T4) recebe uma pontuação agregada de Nenhum (inelegível) e é excluído do ranking de utilidade. Apenas registros elegíveis recebem uma pontuação agregada ponderada baseada em subpontuações de T1–T5. Este design garante que ações "seguras, mas inúteis" não sejam penalizadas, enquanto ações "úteis, mas inseguras" são estritamente rejeitadas.

3. Principais Contribuições

O lançamento 0.1.0 do ADMITBench fornece as seguintes contribuições específicas:

1. Um Framework de Referência: Uma abordagem estruturada para avaliar avisos de LLMs industriais ao nível da ação, em vez do nível do diagnóstico.
2. Formato de Registro de Ação Comum: Um esquema para processar saídas de modelos em registros estruturados contendo diagnóstico, evidência, autoridade e dados de recuperação.

• Hierarquia de Avaliação Não Compensatória: Um mecanismo de portão estrito (T0–T4) que impede que ações inseguras sejam classificadas com pontuações altas devido a outras forças.

3. Perfis de Planta Implementados: Dois cartuchos de referência são lançados:
   • cstr_alpha: Um perfil de reator de mistura contínua (CSTR) com resfriamento por camisa para avaliar evidência, compreensão de perigo e consequências físicas.
   • column_alpha: Um perfil de coluna de destilação que inclui um caso específico (D03) testando incompatibilidade de autoridade e requisitos de escalonamento.
4. Implementação Pública: Um repositório contendo a lógica do avaliador, os dois cartuchos e as ferramentas de relatório.

4. Resultados e Limitações

O artigo não apresenta resultados comparativos amplos entre múltiplos modelos nem reivindica validade industrial geral. Em vez disso, demonstra a viabilidade do formato de avaliação:

• O framework processa com sucesso os registros de ação dos dois perfis lançados (cstr_alpha e column_alpha).
• Ele identifica e separa corretamente a precisão do diagnóstico da admissibilidade da ação.
• Ele executa com sucesso as ações de "pausa" (hold), "verificar" (verify) e "escalar" (escalate) como respostas válidas quando a evidência está degradada.

Limitações Explícitas e Não-Reivindicações:

• Não é um Certificado de Segurança: O framework é uma ferramenta de avaliação técnica, não uma certificação de segurança funcional, teste de aceitação de site ou autorização de implantação.
• Generalidade Limitada: Os dois perfis lançados são configurações de referência, não representações completas de operações industriais. A generalidade industrial ampla não foi estabelecida.
• Sem Validação de Fatores Humanos: O framework não prova a adequação dos fatores humanos (ex: confiança do operador, viés de automação) em salas de controle reais.
• Sem Implantação Autônoma: O lançamento 0.1.0 é apenas para pesquisa e avaliação técnica; ele não autoriza a execução física de controladores autônomos.

5. Significância e Alegações

O artigo posiciona o ADMITBench como um framework de referência para tornar a avaliação ao nível da ação explícita, inspecionável e reprodutível. Sua principal significância reside em:

• Mudança de Foco: Mover a conversa da indústria de "O modelo consegue diagnosticar?" para "A ação proposta é admissível?".
• Governança de Segurança: Implementar um contrato de avaliação governado por segurança onde a elegibilidade é determinada por verificações explícitas e não compensatórias derivadas de perfis de planta versionados.
• Reprodutibilidade: Fornecer uma estrutura onde cada veredito de portão é reprodutível contra um registro de ação fixo, versão do avaliador e perfil de planta.

Os autores declaram explicitamente que o lançamento atual é uma implementação de referência pública para avaliação técnica e de pesquisa. Trabalhos futuros incluem validação de portabilidade usando o processo Tennessee Eastman, a introdução de divisões adversariais e o desenvolvimento de um registro para cartuchos revisados independentemente. O artigo conclui que, embora o framework forneça um método rigoroso para avaliar o "hiato do diagnóstico à ação", ele permanece uma ferramenta para revisão e garantia de engenharia, não um substituto para o julgamento humano responsável ou para a certificação formal de segurança.