💻 computer science

FormIDEAble: Safe and Socially-aware Autonomous Systems

FormIDEAble은 불확실성을 탐색하는 동안 안전 보장을 확보하기 위해 인간-에이전트 상호작용을 가격 책정된 시간 마르코프 결정 과정(Priced Timed Markov Decision Process)으로 모델링함으로써, 사회적으로 중요한 환경에서 자율 에이전트를 위한 사회적 인지 협력 전략을 합성하는 형식적으로 근거가 있는 프레임워크이다.

원저자: Livia Lestingi, Amel Bennaceur, Marcello M. Bersani, Carlos Gavidia-Calderon, Anastasia Kordoni, Mark Levine, Bashar Nuseibeh, Matteo Rossi

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Livia Lestingi, Amel Bennaceur, Marcello M. Bersani, Carlos Gavidia-Calderon, Anastasia Kordoni, Mark Levine, Bashar Nuseibeh, Matteo Rossi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

연기 자욱한 건물 화재 현장과 같은 혼란스러운 비상 상황을 상상해 보십시오. 연기 속에서 한 로봇이 사람들을 탈출시키기 위해 노력하고 있습니다. 이 로봇은 어려운 선택에 직면합니다. 부상자를 옮기는 것을 돕기 위해 근처의 낯선 사람에게 도움을 요청할 것인가, 아니면 전문 소방관을 호출할 것인가?

만약 낯선 사람에게 요청한다면 빠를 수는 있지만, 그 사람이 당황하여 도망쳐 버릴 수도 있습니다. 만약 소방관을 호출한다면 신뢰할 수 있겠지만, 소방관이 도착할 때까지 시간이 걸려 부상자가 그 사이 다칠 수도 있습니다.

이것이 바로 FormIDEAble이 해결하고자 하는 문제입니다. 이것은 로봇을 위한 새로운 "두뇌"로, 로봇이 이러한 찰나의 결정을 내릴 수 있도록 돕습니다. 이 기술은 다른 로봇들이 어려워하는 두 가지를 동시에 수행합니다:

사람을 이해합니다: 인간이 단순히 기계가 아니라, 사회적 집단이나 감정(예: "우리는 모두 하나다"라는 마음)에 따라 행동한다는 것을 이해합니다.
안전을 보장합니다: 로봇이 어떤 결정을 내리든, "사람이 10분 이내에 도움을 받아야 한다"와 같은 "안전 규칙"을 어기지 않음을 수학적으로 증명합니다.

이 기술이 어떻게 작동하는지 간단한 부분으로 나누어 설명하겠습니다:

1. "게임 판" (PTMDP)

연구진은 이 상황을 모델링하기 위해 특별한 종류의 게임 판을 만들었습니다. 이것은 다음과 같은 보드게임처럼 생각하면 됩니다:

로봇은 움직임(예: "도움 요청하기" 또는 "전문가 호출하기")을 선택할 수 있는 플레이어입니다.
인간은 다른 플레이어이지만, 예측 불가능합니다. 때로는 돕기도 하고, 때로는 돕지 않기도 합니다. 로봇은 그들이 무엇을 할지 확실히 알 수는 없지만, 사람들이 집단 내에서 보통 어떻게 행동하는지를 바탕으로 그 '확률'을 추측할 수 있습니다.
시계와 점수: 모든 움직임에는 시간이 소요되며, 자원(예: 배터리나 제한된 소방관 수)을 사용합니다.

2. "사회적 정체성" 수정구슬

로봇은 "정체성 예측기(Identity Predictor)"라는 도구를 사용합니다. 로봇이 사람의 옷차림, 말하는 내용, 혹은 누구와 함께 있는지 등을 보고 추측하는 수정구슬을 가지고 있다고 상상해 보십시오. 로봇은 이를 통해 다음과 같이 추측합니다: "이 사람은 팀의 일원이라고 느끼며 도와줄 가능성이 있는가?"
만약 로봇이 "네, 이 사람은 팀 동료라고 느낍니다"라고 판단한다면, 도움을 요청할 수 있습니다. 만약 "아니요, 이 사람은 겁에 질려 있고 혼자입니다"라고 판단한다면, 그 사람을 건너뛰고 전문가를 호출할 것입니다.

3. "안전망" (형식적 보장)

이 부분이 가장 중요합니다. 많은 로봇이 똑똑하려고 노력하지만, 실수를 하지 않겠다고 약속할 수는 없습니다. FormIDEAble은 다릅니다. 로봇은 움직임을 취하기 전에 초고속 수학적 검사를 실행합니다.

로봇은 스스로에게 묻습니다: "내가 이 경로를 선택한다면, 사람이 너무 오래 기다리게 될 가능성이 조금이라도 있는가?"
만약 답이 "네, 위험이 있습니다"라면, 로봇은 그 경로를 선택할 수 없습니다.
로봇은 최대한 빠르게 움직이면서도, 수학적으로 안전함이 증명된 경로만을 선택합니다.

4. "심판" (전략 합성)

이 시스템은 로봇을 위한 플레이북(전략 지침서)을 설계하는 심판 역할을 합니다. 시스템은 가능한 모든 시나리오(불이 번진다면? 생존자가 도망친다면?)를 살펴보고, 각 상황에 대한 최선의 움직임을 계산하여 "전략"을 만듭니다.

FormIDEAble이 없다면: 로봇은 그저 예측하며 운에 맡길 것입니다.
FormIDEable이 있다면: 로봇은 "상황 A에서는 X를 하고, 상황 B에서는 Y를 한다"라는 미리 승인된 플레이북을 따르며, 안전 규칙이 절대 깨지지 않도록 보장합니다.

어떻게 테스트했는가

연구진은 대규모 대피 상황(수백 명의 사람이 참여하는 화재 대피 훈련 등)을 컴퓨터 시뮬레이션으로 테스트했습니다.

그들은 자신들의 로봇을 다음 대상들과 비교했습니다:
- 아무것도 하지 않는 로봇들
- 항상 전문가를 호출하는 로봇들 (시간을 낭비함)
- 항상 생존자에게 도움을 요청하는 로봇들 (위험함)
- 기존의 덜 안전한 방법을 사용하는 로봇들
결과: FormIDEAble 로봇은 "아무것도 하지 않는" 로봇이나 "항상 요청하는" 로봇보다 사람들을 더 빠르게 탈출시켰습니다. 결정적으로, 이 로봇은 정말 도움이 필요한 사람들을 위해 전문 소방관을 아껴두면서도, 아무도 너무 오래 기다리지 않도록 만들었습니다. 또한 자신의 계획이 실제로 작동할지 예측하는 데 매우 뛰어난 모습을 보였습니다.

핵심 요약

FormIDEAble은 로봇에게 사회적으로 똑똑한 두뇌를 입히고 그 위에 수학적인 안전 슈트를 입힌 것과 같습니다. 이를 통해 자율 에이전트가 위험한 상황에서 인간과 협력할 때, 단순히 추측하는 것이 아니라 효율성을 추구하면서도 결코 위험한 선을 넘지 않도록 보장합니다.

논문은 이것이 현재 시뮬레이션에서 테스트된 "프로토타입"이라고 밝히고 있습니다. 아직 실제 불타는 건물 속에서 달리는 로봇은 아니지만, 수학적으로 이론과 컴퓨터 모델에서 작동함이 증명되었습니다. 연구진은 향후 의료 서비스나 소프트웨어 팀 등 더 많은 분야에서 이를 테스트할 계획이지만, 현재로서는 긴급 대피 상황에서 이 개념이 작동함을 입증했습니다.

FormIDEAble 기술 요약: 안전하고 사회적 인식을 갖춘 자율 시스템

문제 정의
사회적으로 중요한 환경(예: 응급 대응)에서 작동하는 자율 에이전트는 불확실성 조건 하에서도 안전 제약 조건을 엄격히 준수하며 인간과 협력해야 합니다. 기존의 접근 방식들은 두 가지 양극단에 직면해 있습니다. 즉, 사회적 역학 및 인간 행동을 모델링하지만 형식적인 안전 보장을 제공하지 못하거나, 복잡한 인간 행동을 추상화함으로써 형식적 확신을 제공하는 방식입니다. 또한, "자율 시스템을 위한 정체성 인식 아키텍처(Identity-Aware Architecture for Autonomous systems, IDEA)"는 사회 정체성 이론을 활용하여 협력을 촉진하지만, 안전 제약 조건(예: 시간 제한 또는 자원 우선순위)이 항상 충족될 것이라는 형식적 보장이 부족한 평형 추론에 의존합니다. 핵심 과제는 사회적으로 인지하면서도, 형식적으로 검증 가능하며, 인간의 반응에 내재된 불확실성을 처리할 수 있는 의사결정 전략을 합성하는 것입니다.

방법론
FormIDEAble은 인간과 자율 에이전트 간의 상호작용을 **가격 책정된 타이밍 마르코프 결정 과정(Priced Timed Markov Decision Process, PTMDP)**으로 모델링하여 이 문제를 해결합니다. 이 형식은 네 가지 핵심적인 측면을 통합합니다:

제어(Control): 자율 에이전트는 제어 가능한 행동 중에서 선택합니다.
불확실성(Uncertainty): 인간의 반응은 사회적으로 유도된 행동을 포착하는 확률적이고 통제 불가능한 환경 반응으로 모델링됩니다.
시간(Time): 행동에는 지연이 발생하며, 시간 제약을 통해 마감 기한이 강제됩니다.
비용(Cost): 결정은 성능 목표(예: 대피 시간, 자원 사용량)를 나타내는 비용을 누적합니다.

의사결정 문제는 **비용 제한 도달 가능성 문제(cost-bounded reachability problem)**로 정식화됩니다. 목표는 안전 요구 사항을 충족하는 목표 상태 $G$ 에 도달할 확률이 임계값 $p$ 를 초과해야 한다는 안전 제약 조건을 준수하면서 기대 비용(예: 시간)을 최소화하는 전략 $\sigma$ 를 합성하는 것입니다.

본 프레임워크는 MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) 루프로 구현됩니다:

모니터링(Monitoring): 결정 지점을 감지하고 맥락 데이터(거리, 자원 가용성) 및 "정체성 예측기(Identity Predictor)"로부터 얻은 사회적 정체성 추정치를 수집합니다.
분석(Analysis): "형식 게임 빌더(Formal Game Builder)"가 컨트롤러의 결정과 적대적(인간) 결정(관측 가능 및 관측 불가능)을 위한 재사용 가능한 패턴을 사용하여 파라미터화된 PTMDP 모델을 구축합니다. "형식 게임 솔버(Formal Game Solver)"(Uppaal Stratego 사용)는 최적의 전략을 계산합니다.
계획 및 실행(Planning & Execution): "최적 결정 선택기(Best Decision Selector)"는 전략에 의해 규정된 행동 중 확률이 가장 높은(기대 비용이 가장 낮은) 행동을 선택하여 에이전트가 실행하도록 합니다.

주요 기여
본 논문은 세 가지 주요 기여를 소개합니다:

정식화(Formalization): 사회적 정체성 불확실성을 명시적으로 포착하는 PTMDP를 사용하여 사회적으로 인지된 인간-자율 에이전트 협력을 정식화했습니다.
전략 합성(Strategy Synthesis): 문제를 PTMDP 상의 비용 제한 도달 가능성 문제로 정식화함으로써 사회적 정체성 불과 안전 보장을 통합하는 새로운 접근 방식을 제시했습니다.
실증적 증거(Empirical Evidence): 응급 대피 시나리오에서 본 접근 방식의 효과를 입증하여, 최적화와 안전 사이의 트레이드오프를 보여주는 초기 실험적 증거를 제시했습니다.

실험 결과
저자들은 IMPACT+ 시뮬레이션 환경과 Uppaal Stratego를 사용하여 네 가지 베이스라인(지원 없음, 항상 응급 요원 호출, 항상 생존자에게 도움 요청, 비형식적 IDEA 방식)과 비교하여 FormIDEAble을 평가했습니다.

베이스라인 대비 성능: 응급 요원의 자원이 부족한 시나리오( $N_{fr}=9$ )에서, FormIDEable은 IDEA 및 생존자 지원 방식보다 총 대피 시간( $T_{evac}$ )을 유의미하게 단축했으며, "항상 스태프를 호출"하는 베이스라인과 유사한 수준을 유지했습니다. 결정적으로, FormIDEAble은 스태프 지원 및 IDEA 베이스라인에 비해 응급 요원 호출 횟수를 일관되게 감소시켰습니다.
안전 예측: 형식 모델은 안전 요구 사항이 충족될지 여부를 예측하는 데 있어 높은 정확도를 보였으며, 다양한 구성에서 정밀도(precision)와 재현율(recall)이 일관되게 93% 이상을 기록했습니다.
최적화 vs. 안전: Uppaal Stratego 실험에서 FormIDEAble은 작업 시간을 최소화하는 전략을 성공적으로 합성했습니다. 특정 안전 목표(예: 아동 우선순위 지정 또는 응급 요원 호출 제한)가 강제되었을 때, 시스템은 작업 시간이 다소 증가하는 대가를 치르더라도 이러한 도달 가능 속성을 만족할 높은 확률을 유지했습니다.
오버헤드(Overhead): 전략 합성은 무시할 수 없지만 완만한 벽시계 시간(wall-clock time) 오버헤드를 도입했습니다(작고 중간 규모의 구성에서는 평균 <0.5초, 복잡한 구성에서는 ~2.25초). 이는 제한된 숙고 시간을 허용하는 시나리오에 적합함을 시사합니다.

의의 및 주장
본 논문은 FormIDEAble을 형식적으로 보장된, 사회적 인식을 갖춘 의사결정의 원칙적인 토대로 포지셔닝합니다. 그 의의는 사회 과학(사회 정체성 이론)과 형식 방법론(전략 합성) 사이의 간극을 메우는 데 있습니다. 안전과 사회적 역학을 분리하여 다루는 기존 연구와 달리, FormIDEAble은 이를 통합하여 자율 에이전트가 명시적인 안전 제약 조건을 위반하지 않으면서 불확실성 하에서 인간과 협력할 수 있도록 보장합니다.

저자들은 현재의 범위에 대해 겸허한 태도를 취하며, 평가가 예비적 단계이며 시뮬레이션에 의존하고 있음을 언급합니다. 또한 현재 방식이 모델 인스턴스화 및 안전 정식화를 위해 수동 작업이 필요함을 인정합니다. 본 논문은 포괄적인 확장성 분석, 다양한 사회적 중요 도메인에 걸친 광범위한 실증적 검증, 그리고 더 높은 수준의 툴 개발을 향후 과제로 남겨두며, 기초적인 모델링 및 합성 원칙을 제공한다고 주장합니다. 이 접근 방식은 단순히 안전할 뿐만 아니라 사회적으로 유능하고 신뢰할 수 있는 자율 시스템을 향한 단계로 제시됩니다.