기술 요약: LabGuard

문제 정의

시각-언어-행동(VLA) 모델과 모방 학습을 사용하여 복잡한 실험 절차를 수행할 수 있는 체화된 에이전트(embodied agents)의 능력이 향상되고 있지만, 역동적인 실험실 환경에서 안전성을 보장하는 것은 여전히 큰 과제로 남아 있습니다. 현재의 안전 연구는 대개 안전 정보가 이미 정형화되어 있다고 가정합니다. 그러나 실제 실험실에서 안전 지식은 주로 비정형 자연어(예: 표준 작업 절차(SOP), 매뉴얼, 프로토콜, 화학 취급 규칙 등) 형태로 존재합니다.

본 논문이 다루는 핵심 문제는 이러한 자연어 안전 규칙과 로봇 컨트롤러가 실행할 수 있는 기계 검사 가능 런타임 제약 조건 사이의 "누락된 연결 고리"입니다. 기존 방식들은 텍서ual 형태의 안전 규칙을 실행 가능한 사양(specification)으로 변환하여, 실행 중 컨트롤러 경계에서 능동적으로 모니터링하고 강제할 수 있는 중간 단계를 간과하는 경우가 많습니다. 저자들은 세 가지 주요 과제를 식별했습니다:

1. 표현(Representation): 컨트롤러가 규칙을 활성화하고 확인할 수 있도록 실험실 안전 언어를 어떻게 표현할 것인가?
2. 그라운딩(Grounding): 다양한 자연어 소스(SOP, 매뉴얼 등)를 어떻게 타입이 지정된 실행 가능한 표현으로 매핑할 것인가?
3. 컴파일(Compilation): 이러한 그라운딩된 표현을 실시간 상태를 확인하고 실행 전 단계에 개입(통과, 수정 또는 차단)할 수 있는 런타임 모니터로 어떻게 컴파일할 것인가?

방법론: LabGuard 스위트

저자들은 자연어 실험실 규칙을 실행 가능한 런타임 가드로 그라운딩하도록 설계된 언어-실행 안전 스위트인 LabGuard를 제안합니다. 이 시스템은 3단계 파이프라인을 통해 작동합니다.

1. LabGuard-IR (중간 표현)

저자들은 그라운딩의 대상이자 컴파일의 입력 역할을 하는 타입이 지정된 실행 가능한 표현인 LabGuard-IR을 정의합니다. 단순한 텍스트 설명과 달리, LabGuard-IR은 컨트롤러 측 검증에 필요한 실행 의미론(semantics)을 포착합니다. 이는 다음 6가지 필드로 구성됩니다:

• $\hat{t}$ (제약 유형): 안전 로직을 선택합니다 (예: 화학적 부적합성, 온도 제한, 시퀀스 확인).
• $\hat{S}$ (물질/엔티티 집합): 텍스트 언급을 구체적이고 추적 가능한 실험실 엔티티와 연결합니다.
• $\hat{p}$ (상태 서술어): 실시간 상태 또는 제안된 행동에 대해 평가되는 조건을 정의합니다.
• $\hat{T}$ (행동 범위): 관련 컨트롤러 행동에 대해서만 규칙을 활성화합니다.
• $\hat{v}$ (심각도): 위반의 우선순위를 결정합니다.
• $\hat{i}$ (개입 모드): 응답 방식(예: 로그 기록, 수정, 차단)을 지정합니다.

2. LabGuard-Bench (지도 학습 벤치마크)

그라운딩 과정을 훈련하고 평가하기 위해 저자들은 LabGuard-Bench를 구축했습니다.

• 데이터: 203개의 시드(seed) 실험실 규칙으로부터 확장된 812개의 지도 학습 주석을 포함합니다.
• 소스: 시드는 실험실 안전 매뉴얼, PubChem GHS 성명, 전문가가 작성한 컨트롤러 대응 규칙, 화학 안전 참조 문헌의 네 가지 별도 계열에서 추출되었습니다.
• 주석: 화학 및 로봇 공학 배경을 가진 5명의 주석가가 데이터를 검토하여, 패러프레이즈(paraphrase)와 정형 규칙 간의 의미적 동등성을 보장했습니다. 데이터셋은 4가지 계열(물질 적합성, 물리적/정량적 취급, 프로세스/장비 체크, 환경/PPE/폐기물)로 그룹화된 15가지 제약 유형을 다룹니다.

3. LabGuard-Grounder 및 파이프라인

• LabGuard-Grounder: 자연어 규칙을 LabGuard-IR 스키마로 매핑하는 훈련 가능한 구성 요소(LoRA로 미세 조정된 언어 모델로 구현)입니다. 이는 하위 컴파일에 필요한 구조화된 필드를 복구하기 위해 지도 학습 기반의 시퀀스 생성(supervised sequence generation)을 통해 훈련됩니다.
• LabGuard 파이프라인:
  • 컴파일 단계: 그라운딩된 IR 인스턴스는 스키마에 대해 검증된 후 실행 가능한 런타임 모니터($\rho$)로 컴파일됩니다. 컴파일러는 IR 필드를 기반으로 체크 함수($f_{check}$), 범위 서술어($\phi_{scope}$), 파라미터($\theta$)를 인스턴스화합니다.
  • 런타임 단계: 각 제어 단계에서 기본 컨트롤러가 원시 행동(raw action)을 제안합니다. 런타임 실행기는 행동 범위를 기반으로 관련 모니터를 활성화합니다. 안전 필터($SafeFilter$)는 물질 정체성, 부피, 온도, 운동학 등을 포함한 실시간 실험실 상태에 대해 행동을 평가합니다. 그 후 통과(pass), 수정(modify), 차단(block) 중 하나의 판결을 반환합니다.

주요 기여

1. LabGuard-IR: 제약 유형, 엔티티 바인딩, 행동 범위 및 개입 모드를 명시적으로 포착함으로써 실험실 안전 언어를 컨트롤러가 사용할 수 있게 만드는 타입 지정 표현입니다.
2. LabGuard-Bench & Grounder: 812개의 주석이 포함된 지도 학습 벤치마크와 다양한 자연어 규칙을 실행 가능한 IR 스키마로 매핑하는 대응 모델입니다.
3. LabGuard 파이프라인: 그라운딩된 IR 인스턴스를 런타임 모니터로 컴파일하고, 이를 LabUtopia의 ACT 정책과 통합하여 위험 감소 및 작업 보존을 테스트하는 전체 시스템입니다.

실험 결과

저자들은 그라운딩, 오프라인 재생(replay), 라이브 런타임 실행의 세 단계에 걸쳐 LabGuard를 평가했습니다.

• 실험실-언어 그라운딩: 소스 홀드아웃(source-held-out) 설정(보지 못한 규칙 소스에 대한 일반화 테스트)에서, 학습된 그 grounding과 규칙 기반 정규화를 결합한 LabGuard-Hybrid는 79.4 task-scope F1을 달성했습니다. 화학 홀드아웃(unseen chemical categories) 설정에서는 91.8 F1에 도달했습니다.
• 컴파일된 모니터 재생: 70개의 불안전한 시나리오를 포함한 오프라인 스트레스 테스트에서, LabGuard-Hybrid로 그라운딩된 규칙으로부터 컴파일된 모니터는 **58.6%의 포착률(catch rate)**과 69.5 F1을 달성하여 골드 라벨(gold labels)의 오라클 경계(77.1% 포착, 84.4 F1)에 근접했습니다. 이 결과는 정확한 서술어 복구가 어렵더라도, 정확한 태스크 범위 라우팅과 물질 바인딩이 하위 단계의 안전성에 결정적임을 나타냅니다.
• 런타임 실행 (LabUtopia): LabUtopia(Level 1–4)의 ACT 정책과 통합하여 다음과 같은 결과를 얻었습니다:
  • 안전성: 모니터 컴파일 후 불안전한 이벤트가 39.5%에서 23.8%로 감소했습니다.
  • 작업 성공률: 안전 계층은 작업 성공률을 유지하거나 개선했습니다. 예를 들어, "HeatLiquid" 작업에서 성공률은 33.3%(Base)에서 46.7%(Full LabGuard)로 증가했습니다.
  • 오버헤드: 개입율은 0.5% 이하로 낮게 유지되어, 시스템이 안전한 행동에 대해 불필요한 차단을 유발하지 않음을 보여주었습니다.
  • 절제 연구(Ablation): "Action Filter" 모듈이 성공률 향상에 가장 크게 기여했으며, 의미론적 체크와 리스크 스코어링은 보완적인 이점을 제공했습니다.

의의 및 주장

본 논문은 LabGuard가 인간이 읽을 수 있는 실험실 안전 지식으로부터 실행 가능한 모니터로 가는 **감사 가능한 경로(auditable path)**를 제공한다고 주장합니다. 그라운딩, 컴파일, 실행을 분리함으로써, 이 시스템은 기본 정책을 재학습할 필요 없이 자연어와 로봇 제어 루프 사이의 간극을 메웁니다.

저자들은 본 연구가 시뮬레이션 내에서 실험실 자연어를 런타임 모니터와 연결하는 것이 가능하다는 점을 입증했다고 강조합니다. 저자들은 물리적 배포 시 실제 로봇 역학, 센싱 노이즈 및 기관 절차에 대한 검증이 필요하므로, 본 결과가 아직 실제 실험실의 안전성을 확립한 것은 아니라고 명시했습니다. 이 연구는 체화된 과학 에이전트를 위한 "표현 가능하고, 학습 가능하며, 실행 가능한" 안전을 위한 기초적인 단계로 제시됩니다.