NuHF Claw: A Risk Constrained Cognitive Agent Framework for Human Centered Procedure Support in Digital Nuclear Control Rooms

이 논문은 대형 언어 모델 기반의 자율 에이전트가 핵발전소 디지털 제어실의 안전과 인간 통제권을 해치지 않도록 인지 상태 추론과 확률적 안전 평가를 실시간으로 결합한 'NuHF Claw'라는 위험 제약 인지 에이전트 프레임워크를 제안하고, 이를 통해 자동화 중심 운영에서 인지 인식형 자율성으로의 전환을 가능하게 함을 보여줍니다.

핵심

🏭 배경: 원자력 발전소의 '디지털 전환'과 새로운 문제

과거 원자력 발전소는 수많은 물리적인 버튼과 계기판으로 가득 차 있었습니다. 하지만 지금은 컴퓨터 화면과 터치스크린으로 바뀌었습니다. 이를 **'디지털 제어실'**이라고 합니다.

• 좋아진 점: 정보가 더 많이 보이고 정교해졌습니다.
• 새로운 문제: 운영자가 화면을 클릭하고 메뉴를 찾아다니는 **'소프트 컨트롤 (Soft Control)'**이라는 복잡한 행동을 하게 되었습니다. 마치 스마트폰에서 앱을 찾아 헤매는 것처럼요.
• 위험: 이렇게 되면 운영자의 머릿속이 복잡해지고 (인지 과부하), 실수를 하거나 혼란을 겪기 쉽습니다. 기존에 실수를 분석하던 방법들은 이런 '실시간' 문제를 잡아내지 못했습니다.

🤖 해결책: NuHF-Claw (지능형 AI 조수)

이 논문은 AI 가 무작정 모든 것을 대신 결정하는 것이 아니라, **운영자의 두뇌를 보호하고 위험을 막아주는 '조력자'**가 되어야 한다고 제안합니다.

이 시스템을 **'스마트한 비서'**로 상상해 보세요. 하지만 이 비서는 단순히 지시만 하는 게 아니라, 운영자의 피로도, 집중력, 그리고 상황의 위험도를 실시간으로 계산합니다.

🛠️ NuHF-Claw 의 4 가지 핵심 역할 (비유 설명)

이 시스템은 4 명의 전문가로 구성된 팀처럼 작동합니다.

1. 지도 전문가 (Procedure-Interface Agent): "어디서 무엇을 해야 할지 찾아주는 내비게이션"

   • 비유: 복잡한 지도 (비상 매뉴얼) 를 읽어서, 현재 화면의 어느 버튼을 눌러야 하는지 정확한 좌표로 알려주는 역할입니다.
   • 기능: AI 가 헛소리를 (Hallucination) 하지 않도록, 매뉴얼을 컴퓨터가 이해할 수 있는 '그래프'로 변환하여 정확한 경로만 제시합니다.

2. 심리 분석가 (Cognitive Twin Agent): "운영자의 두뇌를 복제하는 디지털 트윈"

   • 비유: 운영자 옆에 똑같은 '가상의 나'를 만들어두고, "지금 이 버튼을 누르려면 우리 뇌가 몇 초 걸릴까? 지금 너무 피곤해서 실수할까?"를 미리 시뮬레이션하는 역할입니다.
   • 기능: 운영자의 눈동자 움직임이나 클릭 속도를 분석해, "지금 너무 바빠서 다음 단계는 30 초 이상 걸릴 거야"라고 예측합니다.

3. 위험 감시관 (Dynamic Risk Agent): "상황의 위험도를 계산하는 경보 시스템"

   • 비유: "지금 원자로 상태가 얼마나 위험한지, 운영자가 얼마나 스트레스를 받고 있는지"를 실시간으로 계산하는 역할입니다.
   • 기능: AI 가 제안하는 행동이 안전할지, 아니면 너무 위험한지 확률로 계산합니다.

4. 최종 심판관 (Governance Safety Gate): "모든 결정의 마지막 문지기"

   • 비유: AI 가 "이 버튼을 눌러!"라고 외치더라도, 반드시 인간 운영자의 확인을 거치는 안전장치입니다.
   • 기능: 만약 AI 가 제안한 행동이 위험하거나 운영자가 너무 지쳐있다면, "잠깐! 인간이 직접 확인하고 결정하세요"라고 막아섭니다. AI 가 독단적으로 결정을 내리는 것을 방지합니다.

🎮 실제 실험 결과: 어떻게 작동했나요?

연구팀은 고온가스로 (HTR-PM) 라는 실제 원자로 시뮬레이터에서 이 시스템을 테스트했습니다.

• 상황: 원자로가 갑자기 멈추는 비상 상황이 발생했습니다.
• 작동:
  1. 시스템은 자동으로 "발전기가 꺼졌다!"고 감지했습니다.
  2. 매뉴얼을 분석해 "증기 분리기 밸브를 확인하세요"라고 안내했습니다.
  3. 심리 분석가는 "1 번 조종사 (1RO) 는 지금 너무 바빠서 (스트레스 지수 100), 다음 버튼을 누르는 데 10 초 이상 걸릴 거야"라고 예측했습니다.
  4. 최종 심판관은 "위험도가 높으니 AI 가 대신 누르지 말고, 인간이 직접 확인하고 누르세요"라고 경고했습니다.
• 결과: 시스템은 운영자의 피로도를 정확히 예측했고, 위험한 상황에서 AI 가 함부로 행동하지 못하게 막아주었습니다.

💡 이 연구의 핵심 메시지

이 논문은 **"AI 가 사람을 완전히 대체하는 것 (Automation)"이 아니라, "AI 가 사람의 능력을 키워주고 위험을 막아주는 것 (Human-Centered Autonomy)"**이 안전하다는 것을 보여줍니다.

• 과거: "AI 가 다 해줄게." (위험: AI 가 망가질 수 있음)
• NuHF-Claw: "AI 가 위험을 감시하고, 인간이 최종 결정을 내리게 도와줄게." (안전: 인간의 판단력을 존중)

🚀 결론

NuHF-Claw는 원자력 발전소처럼 아주 위험한 곳에서 AI 를 쓸 때, "AI 가 미쳐 날뛰지 않도록 인간의 두뇌와 안전 장치를 연결해 주는 교량" 역할을 합니다. 이는 미래의 스마트한 원자력 발전소가 안전하게 운영될 수 있는 새로운 길잡이가 될 것입니다.

기술 요약

NuHF-Claw: 디지털 원전 제어실을 위한 위험 제약형 인지 에이전트 프레임워크

1. 연구 배경 및 문제 제기 (Problem)

• 디지털 전환의 양면성: 원전 주 제어실 (MCR) 의 아날로그에서 디지털로의 전환은 정보 밀도를 높였으나, '소프트 컨트롤 (Soft Control)'이라는 새로운 복잡한 조작 행동을 유발했습니다. 이는 모드 혼동 (Mode Confusion), 탐색 복잡성, 인지 부하 증가 등 새로운 형태의 인지 오류를 초래합니다.
• 기존 HRA 의 한계: 기존의 인간 신뢰도 분석 (HRA) 방법은 주로 사후 분석 (Offline) 이거나 정적인 확률 계산에 의존하여, 실시간으로 발생하는 소프트 컨트롤 행동에 대한 즉각적인 개입이 어렵습니다.
• 자율 에이전트의 위험: 대규모 언어 모델 (LLM) 기반의 자율 에이전트는 강력한 의사결정 지원 능력을 가지지만, '환각 (Hallucination)' 현상과 인간의 최종 결정 권한 약화라는 심각한 안전 리스크를 내포하고 있습니다. 안전이 최우선인 원전 환경에서 AI 의 무제약된 자율 실행은 용납될 수 없습니다.

2. 제안된 방법론: NuHF-Claw 프레임워크 (Methodology)

이 연구는 NuHF-Claw라는 지속적 인지 - 위험 에이전트 프레임워크를 제안합니다. 이는 정적인 신뢰도 평가를 '위험 제약형 에이전트 런타임 (Risk-Constrained Agent Runtime)'으로 전환하여, 실시간으로 인간의 인지 상태와 확률적 안전성을 결합합니다.

프레임워크는 4 가지 핵심 협력 에이전트 모듈로 구성됩니다:

1. 절차 - 인터페이스 에이전트 (Procedure-Interface Agent):
   • AutoGraph 프레임워크를 활용하여 자연어 기반의 비상운영절차 (EOP) 를 파싱합니다.
   • 이를 디지털 인터페이스 요소와 연결된 지식 그래프 (IE-KG) 로 매핑하여, AI 의 환각을 방지하고 결정론적인 실행 경로를 생성합니다.
2. 인지 트윈 에이전트 (Cognitive Twin Agent):
   • ACT-R(Adaptive Control of Thought—Rational) 인지 아키텍처를 기반으로 작동합니다.
   • LLM 을 활용하여 실시간 운영 경로에 맞는 ACT-R Lisp 코드를 자동 생성함으로써, 운영자의 인지 과정 (시각 탐색, 기억 인출, 행동 실행) 을 시뮬레이션합니다.
   • 이를 통해 운영자의 요구 시간 ($T_{reqd}$) 분포와 인지 병목 현상을 실시간으로 예측합니다.
3. 동적 위험 에이전트 (Dynamic Risk Agent):
   • KRAIL(LLM 기반 지식 기반 신뢰도 분석) 을 활용하여 IDHEAS-ECA 이론에 기반한 실시간 수행 영향 요인 (PIF) 을 분석합니다.
   • 환경적 복잡성과 운영자 상태를 반영한 동적 인간 오류 확률 ($P_c$) 을 계산합니다.
4. 거버넌스 안전 게이트 (Governance Safety Gate):
   • 베이지안 네트워크 (Bayesian Network) 를 사용하여 인지 트윈 에이전트의 출력 ($P_t$, 작업 부하) 과 동적 위험 에이전트의 출력 ($P_c$, PIF 심각도) 을 통합합니다.
   • 계산된 전체 시스템 인간 오류 확률 (HEP) 이 사전 정의된 안전 임계값을 초과하면, 에이전트의 자율 실행을 차단하고 '위험 정보 제공 및 인간 승인' 모드로 전환합니다. 이는 AI 의 과도한 개입을 방지하고 인간의 최종 결정 권한을 보장합니다.

3. 주요 기여 (Key Contributions)

• 소프트 컨트롤 현상에 대한 인지 모델링: ACT-R 기반의 '인지 트윈'을 도입하여, 운영자의 정보 처리 병목과 탐색 복잡성을 실시간으로 시뮬레이션하고 예측함으로써 기존 자동화의 한계를 극복했습니다.
• 위험 제약형 에이전트 아키텍처 구축: 동적 HRA 와 자율 AI 에이전트 간의 간극을 해소했습니다. 시뮬레이터 데이터, 지식 그래프 기반 태스크 모델링, KRAIL 기반 확률적 추론을 통합하여 LLM 기반 의사결정을 엄격한 인간 오류 확률 (HEP) 한계 내에서 제어합니다.
• 인간 중심의 자율성 및 거버넌스: 정적인 신뢰도 평가를 넘어, 안전이 중요한 시스템에 AI 를 안전하게 통합할 수 있는 토대를 마련했습니다. 거버넌스 계층을 통해 AI 제안이 인지적으로 타당할 뿐만 아니라 확률적으로 안전하도록 보장하며, 인간의 최종 결정권을 유지합니다.

4. 실험 결과 (Results)

• 실험 설정: HTR-PM600(고온가스로) 전체 범위 시뮬레이터를 사용하여 원자로 정지 테스트 시나리오를 수행했습니다. 3 명의 원자력 전공 대학원생이 참여하여 실제적인 인지 부하를 유발하는 조건에서 실험을 진행했습니다.
• 인지 트윈의 정확도: ACT-R 기반 시뮬레이션이 생성한 요구 시간 ($T_{reqd}$) 분포는 실제 운영자의 마우스 커서 추적 데이터와 높은 일치도 ($R^2 > 0.9$) 를 보였습니다. 또한, NASA-TLX 설문조사 결과와도 일치하여 운영자의 실시간 작업 부하 (특히 1RO 의 높은 정신적 부하) 를 정확하게 예측함을 입증했습니다.
• 동적 위험 관리: 프레임워크는 '화면 탐색 1'과 같은 복잡한 다단계 조작에서 모드 혼동 및 기억 감퇴로 인한 높은 인지 취약성을 식별했습니다. NuHF-Claw 는 이러한 고위험 노드에서 자율 실행을 차단하고 인간 확인을 요구함으로써, 디지털 인터페이스의 고유한 위험을 완화하면서도 인간의 통제권을 유지했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: NuHF-Claw 는 수동적인 인간 오류 예측에서 능동적인 AI 거버넌스 기반 인간 인지 보호로 전환하는 중요한 패러다임 변화를 제시합니다.
• 안전한 AI 통합: 원전과 같은 안전 중대 시스템에 LLM 기반 에이전트를 도입할 때 발생할 수 있는 '환각'과 '권한 침탈' 문제를 해결하는 원칙적인 경로를 제시합니다.
• 미래 전망: 이 프레임워크는 향후 생체 신호 (안구 추적, 뇌파 등) 통합, 알고리즘 지연 시간 최적화, 다중 운영자 팀 거버넌스 확장 등을 통해 실제 원전 환경에 적용 가능한 산업용 의사결정 지원 플랫폼으로 발전할 잠재력을 가지고 있습니다.

결론적으로, NuHF-Claw 는 디지털 원전 제어실의 복잡한 인지적 도전에 대응하기 위해, 지속적인 인지 모니터링과 확률적 안전 게이트를 결합한 혁신적인 인간 - 기계 협업 시스템을 제시했습니다.