기술 요약: ADMITBench – 안전 거버넌스 기반 참조 프레임워크

1. 문제 정의

산업 운영에서 시스템의 안전성은 단순히 진단의 정확성에 의해 결정되는 것이 아니라, 제안된 조치의 '허용 가능성(admissibility)'에 의해 결정됩니다. 산업 현장에서의 기존 LLM 평가는 주로 결함 분류, 센서 설명 또는 일반적인 작업 완료에 초점을 맞춥니다. 그러나 모델이 결함(예: 반응기의 냉각 손실)을 정확하게 식별하더라도, 운영 절차를 위반하거나, 위임된 권한을 초과하거나, 신뢰할 수 없는 센서 데이터에 의존하거나, 수용 불가능한 물리적 결과를 초래하는 개입을 권고할 수 있습니다.

현재의 벤치마크는 이러한 "진단-조치 간극(diagnosis-to-action gap)"을 다루지 못합니다. 즉, 제안된 조치가 특정 플랜트 제약 조건, 안전 계장 기능(safety instrumented functions), 시간 의존적 공정 결과 하에서 허용 가능한지를 충분히 평가하지 못합니다. ADMITBench는 평가 단위를 자연어 답변에서 **제안된 조치 기록(proposed action record)**으로 전환함으로써 이를 해결하며, 해당 조치가 버전 관리된 안전 거버넌스 맥락 내에서 허용 가능한지를 평가합니다.

2. 방법론

ADMITBench는 산업용 LLM의 권고 사항을 버전 관리된 플랜트 프로파일(이하 "카트리지"로 지칭)에 따라 평가하는 참조 프레임워크로 작동합니다. 이 방법론은 비보상적(non-compensatory) 평가 계층 구조를 기반으로 합니다. 이는 특정 핵심 안전 게이트(gate)에서의 실패가 다른 영역에서의 성능과 관계없이 전체 조치를 부적격 처리함을 의미합니다.

2.1 핵심 구성 요소

• 조치 기록 (Action Record): 평가의 단위는 제안된 조치, 주장된 진단, 인용된 근거, 권한 범위, 신뢰 수준 및 복구 경로를 포함하는 구조화된 기록입니다. 이는 감사 가능성을 보장하기 위해 자유 형식의 텍스트 답변을 대체합니다.
• 플랜트 프로파일 (카트리치, Cartridges): 플랜트별 로직(안전 사례, 절차, 시스템 그래프 및 결과 모델)은 버전 관리된 카트리지에 캡슐화됩니다. 공통 평가 로직은 플랜트별 콘텐츠와 분리되어 이식성을 확보합니다.
• 권한 모델 (Authority Model): 본 프레임워크는 세 가지 배포 구성을 구분합니다:
  • A0 (자문형, Advisory): 모델은 검증 또는 에스컬레이션(escalation)을 권고할 수 있으나 직접적인 명령을 내릴 수 없습니다.
  • A1 (감독형, Supervised): 모델은 인간의 승인을 받기 위한 제한된 범위의 조치를 제안합니다.
  • A2 (제약된 자율형, Constrained Autonomous): 모델은 엄격한 문법과 운전 범위를 준수하는 조치를 제안합니다.
  • 참고: 권한은 저하된 증거로 인해 축소될 수는 있으나, 모델의 주장만으로 확장될 수는 없습니다.

2.2 평가 계층 구조 (T0–T6)

프레임워크는 T0–T4는 하드 게이트(hard gates)(비보상적), T5는 유틸리티 순위 지정, T6는 감사를 위한 계층 시스템을 채택합니다.

• T0 (기록 무결성, Record Integrity): 구조적 완전성, 유형 유효성 및 안전 사례 그래프에 대한 컴파일 성공 여부를 확인합니다.
• T1 (증거 및 상태 유효성, Evidence & State Validity): 결정이 사용 가능한, 시간적으로 유효하며 일관된 증거에 기반했는지 검증합니다.
• T2 (위험 및 인과관계 이해, Hazard & Causal Understanding): 기록이 조치를 정당화할 만큼 결정적인 위험을 충분히 다루고 있는지, 혹은 이해가 부족할 경우 적절히 에스컬레이션하는지 확인합니다.
• T3 (조치 허용성, Action Admissibility): 권한, 절차 준수, 전제 조건, 가역성 및 복구 의무를 검증합니다.
• T4 (물리적 결과 검증, Physical Consequence Verification): 동적 또는 규칙 기반 체크를 사용하여 정의된 검증 기간 동안 조치가 수용 불가능한 물리적 결과를 초래하지 않는지 검증합니다.
• T5 (유틸리티 순위, Utility Ranking): T0–T4를 통과한 기록에 대해서만 적용됩니다. 효율성, 중단 정도 또는 선호도에 따라 적격한 조치의 순위를 매깁니다.
• T6 (추적성, Traceability): 재현성을 위해 소스 연결 및 감사 증거를 기록합니다.

2.3 적격성 및 점수 산정

하드 게이트(T0–T4) 중 하나라도 통과하지 못한 기록은 종합 점수를 None(부적격)으로 받으며 유틸리티 순위 산정에서 제외됩니다. 오직 적격한 기록만이 T1–T5의 하위 점수를 바탕으로 가중치 적용된 종합 점수를 부여받습니다. 이 설계는 "안전하지만 쓸모없는" 조치는 처벌하지 않으면서도, "유용하지만 위험한" 조치는 엄격히 거부하도록 보장합니다.

3. 주요 기여

ADMITBench 0.1.0 릴리스는 다음과 같은 구체적인 기여를 제공합니다:

1. 참조 프레임워크: 진단 수준이 아닌 조치 수준에서 산업용 LLM의 권고 사항을 평가하는 구조화된 접근 방식을 제공합니다.
2. 공통 조치 기록 형식: 진단, 근거, 권한 및 복구 데이터를 포함하는 구조화된 기록으로 모델 출력을 파싱하기 위한 스키마를 제공합니다.
3. 비보상적 평가 계층 구조: 다른 강점 때문에 위험한 조치가 높은 순위를 차지하는 것을 방지하는 엄격한 게이팅 메커니즘(T0–T4)을 구현합니다.
4. 구현된 플랜트 프로파일: 두 개의 참조 카트리지가 출시되었습니다:
   • cstr_alpha: 증거, 위험 이해 및 물리적 결과를 평가하기 위한 자켓 냉각 연속 교반 탱크 반응기(CSTR) 프로파일입니다.
   • column_alpha: 권한 불일치 및 에스컬레이션 요구 사항을 테스트하는 특정 케이스(D03)를 포함하는 증류탑 프로파일입니다.
5. 공개 구현: 평가 로직, 두 개의 카트리지 및 보고 도구가 포함된 저장소를 제공합니다.

4. 결과 및 한계

본 논문은 여러 모델에 걸친 광범위한 비교 결과를 제시하거나 일반적인 산업적 타당성을 주장하지 않습니다. 대신, 평가 형식의 실현 가능성을 입증합니다:

• 프레임워크는 두 개의 출시된 프로파일(cstr_alpha 및 column_alpha)로부터 조치 기록을 성공적으로 처리합니다.
• 진단 정확도와 조치 허용 가능성을 올바르게 식별하고 분리합니다.
• 증거가 저하되었을 때 "대기(hold)", "검증(verify)", "에스컬레이션(escalate)" 조치를 유효한 응답으로 성공적으로 강제합니다.

명시적 한계 및 미언급 사항:

• 안전 인증이 아님: 본 프레임워크는 기술적 평가 도구이며, 기능 안전 인증, 현장 수락 테스트 또는 배포 승인이 아닙니다.
• 제한된 일반성: 출시된 두 프로파일은 참조 설정일 뿐, 산업 운영의 완전한 표현이 아닙니다. 광범위한 산업적 일반성은 확립되지 않았습니다.
• 인적 요인 검증 부재: 본 프레임워크는 실제 제어실에서의 인적 요인 적절성(예: 운영자 신뢰, 자동화 편향)을 증명하지 않습니다.
• 자율 배포 불가: 0.1.0 릴리스는 연구 및 기술 평가를 위한 것이며, 자율 제어기의 물리적 실행을 승인하지 않습니다.

5. 의의 및 주장

본 논문은 ADMITBench를 조치 수준의 평가를 명시적이고, 검사 가능하며, 재생 가능하게 만드는 참조 프레임워크로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

• 초점의 전환: 산업계의 담론을 "모델이 진단할 수 있는가?"에서 "제안된 조치가 허용 가능한가?"로 이동시킵니다.
• 안전 거버넌스: 버전 관리된 플랜트 프로파일에서 도출된 명시적이고 비보상적인 체크를 통해 적격성이 결정되는 안전 거버ned evaluation contract를 구현합니다.
• 재현성: 모든 게이트 판정이 고정된 조치 기록, 평가기 버전 및 플랜트 프로파일에 대해 재생 가능하도록 하는 구조를 제공합니다.

저자들은 현재 릴리스가 공개 참조 구현임을 명시적으로 밝힙니다. 향후 과제로는 테네시 이스트만(Tennessee Eastman) 프로세스를 이용한 이식성 검증, 적대적 분할(adversarial splits) 도입, 그리고 독립적으로 검토된 카트리지 레지스트리 개발 등이 포함됩니다. 결론적으로, 본 프레임워크는 "진단-조치 간극"을 평가하는 엄격한 방법을 제공하지만, 이는 엔지니어링 검토 및 보증을 위한 도구이며 책임 있는 인간의 판단이나 공식적인 안전 인증을 대체하는 것이 아닙니다.