Social, Legal, Ethical, Empathetic and Cultural Norm Operationalisation for AI Agents

이 논문은 고위험 분야에서 AI 에이전트의 사회적, 법적, 윤리적, 공감적, 문화적 규범 (SLEEC) 을 추상적 원칙에서 검증 가능한 구체적 요구사항으로 전환하는 체계적인 운영화 프로세스와 연구 의제를 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 이 인간 사회의 복잡한 규칙과 감정을 어떻게 배워야 하는가?"**에 대한 해답을 제시합니다.

간단히 말해, AI 가 병원, 경찰, 교통 같은 중요한 곳에서 일할 때, 단순히 "일만 잘하는 로봇"이 아니라 **"인간처럼 윤리적이고, 법을 지키며, 감정을 이해하는 로봇"**이 되게 만드는 방법론을 소개합니다.

이 내용을 이해하기 쉽게 **'새로운 직원을 채용하고 교육하는 과정'**에 비유해서 설명해 드리겠습니다.

---

🤖 핵심 비유: "AI 라는 신입 사원 교육 프로그램"

이 논문은 AI 를 개발하는 과정을 마치 새로운 직원을 뽑아 교육하고, 업무 매뉴얼을 만들고, 시험을 치러 합격시킨 뒤 채용하는 과정으로 설명합니다.

1. 문제: "일만 잘하면 되나요?"

지금까지 AI 는 "일 (기능) 을 얼마나 빠르게, 정확하게 하느냐"만 중요했습니다. 하지만 AI 가 자율주행차나 간호 로봇처럼 인간의 생명을 다루는 일을 할 때는 이야기가 다릅니다.

• 상황: AI 가 환자의 사생활을 지키는 게 중요할지, 아니면 정확한 진단을 하는 게 중요할지 고민해야 합니다.
• 해결책: 단순히 "일 잘하는 AI"가 아니라, **사회적 (Social), 법적 (Legal), 윤리적 (Ethical), 공감적 (Empathetic), 문화적 (Cultural)**인 규칙을 모두 따르는 SLEEC라는 5 가지 기준을 갖춘 AI 가 되어야 합니다.

2. 해결책: 5 단계 교육 프로세스 (SLEEC 운영화)

논문은 추상적인 "착한 AI"라는 개념을 실제 작동하는 코드로 바꾸는 5 단계 교육 과정을 제안합니다.

1 단계: 직무 능력 정의하기 (무엇을 할 수 있는가?)

• 비유: "이 직원은 카메라를 볼 수 있고, 말을 할 수 있으며, 비상벨을 누를 수 있다."라고 직무 설명서를 작성합니다.
• 중요한 점: 카메라가 있다는 건 '사생활 침해'라는 새로운 문제가 생길 수 있음을 의미하므로, 이 능력을 어떻게 통제할지 미리 생각해야 합니다.

2 단계: 규칙 만들기 (매뉴얼 작성하기)

• 비유: 윤리학자, 변호사, 일반 시민, 개발자가 모여서 "이 직원은 이런 상황에 이렇게 행동해야 한다"는 구체적인 규칙을 만듭니다.
• 예시: "환자가 넘어졌으면 (Trigger) -> 4 분 안에 구조대에 전화하라 (Response)"는 규칙을 만듭니다.
• 예외 상황 (Defeater): "하지만 환자가 '안 돼'라고 말하면 (Defeater) -> 전화하지 마라." 같은 예외 규칙도 추가합니다.

3 단계: 규칙 검토하기 (상호작용 테스트)

• 비유: 만든 규칙들이 서로 모순되지 않는지, 누락된 건 없는지 철저히 점검합니다.
• 문제 발견: "환자가 넘어졌을 때 전화하라"는 규칙과 "환자가 거부하면 전화하지 마라"는 규칙이 충돌할 수 있습니다. (환자가 의식이 없으면 거부할 수 없으니?)
• 해결: "환자가 의식이 없고 거부하지 않는 경우에만 전화하지 마라"처럼 규칙을 더 정교하게 다듬습니다.

4 단계: 실제 업무 적용 (교육 및 훈련)

• 비유: 이 규칙들을 AI 로봇의 머릿속에 심어줍니다.
• 방법: AI 가 학습할 때 "착한 행동 데이터"와 "나쁜 행동 데이터"를 구분해서 가르치고, 실제 작동 중에는 규칙을 위반하면 자동으로 멈추게 하는 **'안전장치 (Guardrails)'**를 설치합니다.

5 단계: 최종 시험 (합격 여부 판정)

• 비유: AI 가 실제 상황 (시험) 에서 규칙을 지키는지 검증합니다.
• 결과: 만약 규칙을 위반하는 행동을 보이면, 채용 (배포) 을 취소합니다. 아무리 똑똑해도 규칙을 지키지 못하면 쓸 수 없다는 뜻입니다.

---

🚧 남은 과제: "완벽한 교육은 아직 어렵다"

이론적으로는 완벽한 시스템이지만, 현실에서는 몇 가지 큰 장벽이 남아 있습니다.

1. 추상적인 개념을 구체화하기 어렵다: "인간 존엄성"이나 "공감" 같은 거창한 말을 로봇이 이해할 수 있는 구체적인 코드로 바꾸는 게 매우 어렵습니다.
2. 가치 충돌: "사생활 보호"와 "안전"이 충돌할 때, AI 가 어떻게 선택해야 할지 정하기 어렵습니다. (예: 범죄자를 잡기 위해 사생활을 침해할 수 있는가?)
3. 기술적 한계: AI 가 인간의 미세한 감정이나 상황을 실시간으로 파악하려면 엄청난 계산 능력이 필요합니다.
4. 변화하는 규칙: 사회의 규범은 시대에 따라 변합니다. AI 가 배포된 후에도 새로운 상황에 맞춰 스스로 규칙을 업데이트할 수 있게 만드는 게 어렵습니다.
5. 사람들의 이해 부족: 개발자, 법률가, 일반인 모두가 같은 언어로 대화할 수 있도록 교육해야 합니다.

💡 결론: "착한 AI 를 위한 청사진"

이 논문은 **"AI 를 개발할 때, 기능만 쫓지 말고 인간 사회의 가치 (SLEEC) 를 먼저 설계하라"**고 말합니다.

마치 새로운 직원을 채용할 때, 단순히 실력만 보고 뽑지 않고 인성, 윤리, 팀워크까지 꼼꼼히 검증하는 과정과 같습니다. 이 과정을 통해 우리는 AI 가 인간을 해치지 않고, 오히려 인간을 더 잘 돕는 '신뢰할 수 있는 파트너'가 되기를 기대합니다.

만약 이 과정 중 하나라도 실패하면, 그 AI 는 세상에 나오지 못하게 (배포가 취소되어) 됩니다. 이것이 바로 AI 를 안전하게 만드는 가장 확실한 방법입니다.

기술 요약

1. 문제 정의 (Problem)

• 추상적 원칙과 구체적 구현의 간극: OECD, UNESCO, IEEE 등 국제 기구에서 제시한 AI 윤리 원칙 (예: 프라이버시, 자율성, 안전) 은 고수준의 추상적 개념에 그쳐 있습니다. 이를 구체적인 AI 에이전트의 행동 규칙이나 검증 가능한 기술적 요구사항으로 변환하는 체계적인 방법이 부족합니다.
• 기존 공학 방법의 한계: 전통적인 요구사항 공학 및 시스템 공학 방법은 다양한 이해관계자 (윤리학자, 법률가, 일반 사용자 등) 를 효과적으로 참여시키고, 규범적 원칙의 높은 추상성 수준에서 작동하며, 규범 요구사항 내재적인 복잡한 충돌을 해결하고, SLEEC 요구사항의 형식적 검증 (Well-formedness) 을 보장하는 메커니즘이 부족합니다.
• 실제 적용의 필요성: AI 에이전트가 인간의 가치 (예: 프라이버시 대 정확성, 자율성 대 안전) 사이에서 우선순위를 결정하거나, 문화적 배경과 장애 유무에 따라 상호작용을 조정해야 하는 고위험 환경에서, 이러한 SLEEC 민감성을 갖춘 에이전트 개발이 시급합니다.

2. 제안된 방법론: SLEEC 규범 운영화 프로세스 (Methodology)

저자들은 AI 에이전트 개발 수명주기에 걸쳐 수행되는 5 단계의 체계적인 프로세스를 제안합니다 (그림 1 참조). 이 프로세스는 피드백 루프를 통해 반복적으로 수행되며, 모든 단계가 성공해야만 에이전트의 배포가 허용됩니다.

• 입력: 국제적 윤리 프레임워크 (UNESCO, OECD), 표준 (ISO/IEC, IEEE), 법적 규정 (EU AI Act, GDPR), 그리고 도메인별 가이드라인.

단계별 상세 내용:

1. AI 에이전트 능력 명세 (Capability Specification):
   • 에이전트가 환경을 지각하거나 영향을 미칠 수 있는 기능 (센서, 액추에이터, API 등) 을 정의합니다.
   • 이 능력들이 어떤 SLEEC 규범과 관련되는지 (예: 카메라 사용 $\rightarrow$ 프라이버시 이슈) 및 규범 준수를 위해 어떤 능력이 필요한지 (예: 환자 상태 감지 $\rightarrow$ 지원 요청 능력) 를 파악합니다.
2. SLEEC 요구사항 도출 (Requirements Elicitation):
   • 고수준 원칙을 실행 가능한 운영 규칙으로 변환합니다.
   • 이해관계자 (윤리학자, 개발자, 사용자 등) 와의 협의를 통해 원칙의 대리 변수 (Proxy, 예: '동의'는 '자율성'의 대리) 를 식별하고 에이전트 능력에 매핑합니다.
   • **SLEEC DSL (Domain-Specific Language)**을 사용하여 규칙을 정의합니다.
     • 기본 형식: id when triggerEvent [and triggerGuard] then response [within timeframe]
     • 예외 (Defeater) 형식: unless defeaterGuard [then defeaterResponse] (규칙이 적용되지 않거나 다른 행동을 취하는 조건)
3. 요구사항 형식성 검증 (Well-formedness Checking):
   • 도출된 규칙 집합의 논리적 일관성을 검증합니다.
   • 충돌 (Conflict): 두 규칙이 동시에 준수될 수 없는 경우.
   • 중복 (Redundancy): 한 규칙을 준수하면 다른 규칙이 자동으로 준수되는 경우.
   • 부족 (Insufficiency) 및 과도한 제한 (Over-restrictiveness): 시스템이 유해 행위를 막지 못하거나, 바람직한 행위를 불필요하게 차단하는 경우.
   • 사용 도구: 프로세스 대수 (toCK-CSP, FDR 모델 체커) 를 이용한 상호작용 분석 및 1 차 논리 (FOL*, LEGOS) 를 이용한 전역적 분석.
4. SLEEC 인지 에이전트 구현 (Implementation):
   • 검증된 규칙을 에이전트의 설계, 훈련, 배포에 통합합니다.
   • 훈련 시: 규범 준수/위반 상황을 명시적으로 인코딩한 데이터 스키마를 사용하여 에이전트가 규범적 구분을 학습하도록 합니다.
   • 런타임: 규칙을 '가드레일 (Guardrails)'로 구현하여 에이전트의 결정과 행동을 실시간으로 모니터링하고 제어합니다. 이는 에이전트 핵심 로직과 분리되어 있어 업데이트가 용이합니다.
5. 준수성 검증 (Verification of Compliance):
   • 구현된 에이전트가 SLEEC 규칙 집합을 만족하는지 형식적으로 검증합니다.
   • RoboChart 모델링 언어와 tock-CSP 시맨틱을 활용하여 에이전트 모델을 생성하고, 모델 체킹을 통해 규칙 위반 시뮬레이션 (Counterexample) 을 생성합니다.
   • 검증된 모델은 자동으로 시뮬레이션 또는 배포용 코드로 변환됩니다.

3. 주요 기여 (Key Contributions)

• 체계적 운영화 프레임워크: 추상적인 SLEEC 원칙을 구체적인 기술적 요구사항으로 전환하고 검증하는 5 단계 프로세스를 제안했습니다.
• SLEEC DSL 및 도구 생태계: 규칙 정의, 형식성 검증 (충돌/중복/과도한 제한 탐지), 준수성 검증을 위한 도메인 특화 언어 (DSL) 와 툴킷 (SLEEC-TK, LEGOS-SLEEC, RoboChart 등) 을 소개하고 그 적용 가능성을 입증했습니다.
• ALMI 프로젝트 사례 연구: 치매 환자를 돕는 로봇 (ALMI) 을 대상으로 실제 사례를 적용했습니다.
  • 사례: 사용자가 바닥에 쓰러졌을 때 (HumanOnFloor) 응급구조를 요청하는 규칙에서, 사용자가 동의하지 않는 경우 (not humanAssents) 를 예외로 두되, 사용자가 무반응 (unresponsive) 인 경우에는 예외를 적용하지 않도록 규칙을 수정 (R3 $\rightarrow$ R3') 하는 과정을 통해 충돌과 과도한 제한 문제를 해결했습니다.
• 연구 및 정책 의제 설정: 규범적 원칙의 구체화, 가치 충돌 해결, 실시간 적응, 다학제적 역량 강화 등 향후 해결해야 할 과제를 제시했습니다.

4. 결과 및 성과 (Results)

• 충돌 및 결함 발견: 제안된 검증 도구를 사용하여 초기 규칙 집합에서 논리적 충돌 (예: 화재 경보와 쓰러짐 감지 시의 응급 구조 타이밍 충돌) 과 과도한 제한 (예: 무반응 사용자의 응급 구조 불가) 을 발견하고 수정할 수 있음을 보였습니다.
• 검증 가능한 준수성: RoboChart 모델을 통해 에이전트의 행위가 SLEEC 규칙을 위반하는 시나리오 (예: 응급 상황 발생 시 현재 작업을 완료하려는 지연) 를 자동으로 식별하고, 이를 수정하도록 설계팀에 피드백을 제공했습니다.
• 배포 결정 지원: 프로세스의 어느 단계에서든 실패할 경우 에이전트 개발을 중단하거나 배포를 취소할 수 있는 명확한 기준을 제공하여, 규범을 위반할 가능성이 있는 AI 의 배포를 사전에 차단합니다.

5. 의의 및 중요성 (Significance)

• 신뢰할 수 있는 AI 개발의 기반: AI 가 인간의 삶에 중대한 영향을 미치는 분야에서 작동할 때, 단순히 기능이 작동하는 것을 넘어 사회적, 윤리적, 문화적 규범을 준수함을 검증 가능하게 증명할 수 있는 공학적 기반을 마련했습니다.
• 규제 및 표준화 지원: EU AI Act 등 강화되는 규제 환경에서 AI 시스템의 규제 준수를 위한 구체적인 방법론을 제공하며, 규제 기관과 개발자 간의 공통 언어를 구축하는 데 기여합니다.
• 다학제적 협력 촉진: 공학자, 법률가, 윤리학자, 사용자가 협력하여 AI 시스템을 설계하는 새로운 패러다임을 제시하며, 관련 교육 및 역량 강화의 필요성을 강조합니다.
• 미래 지향성: 정적인 규칙을 넘어, 런타임 환경과 사용자의 변화하는 규범적 요구에 적응할 수 있는 동적 AI 에이전트 개발을 위한 연구 방향을 제시합니다.

이 논문은 AI 윤리가 단순한 철학적 담론을 넘어, 실제 시스템 공학의 핵심 요소로 자리 잡기 위한 필수적인 방법론적 토대를 제공합니다.