🤖 AI

Reasoning and Planning with Dynamically Changing Norms

본 논문은 사회적 대화 에이전트인 SocialBot 을 통한 형식적 증명과 실증적 검증을 거친, 계획 과정에서 갈등을 해결하고 동적으로 변화하는 규범을 가드레일로서 활용하기 위해 비결정적 계산을 적용함으로써 인간과 AI 간의 상호작용에서 AI 에이전트를 안내하는 새로운 접근법을 제시한다.

원저자: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 인간의 집에 사는 매우 도움이 되는 로봇 비서라고 상상해 보세요. 당신의 일은 정보를 공유하거나 계획을 세우는 등 인간을 위해 일을 수행하는 것입니다. 하지만 여기에는 함정이 있습니다. 인간은 마음을 바꾸며, 당신에 대한 규칙도 그 변화에 따라 달라집니다.

이 논문은 AI 가 혼란에 빠지거나 신뢰를 깨뜨리지 않고도 이러한 변화하는 규칙을 어떻게 처리할 수 있는지 가르치는 것에 관한 것입니다.

문제: 계속 변하는 "규칙집"

인간의 규칙을 고정된 목록이 아니라 살아있는 규칙집으로 생각하세요.

1 일: 카를리는 당신에게 "절대 누구에게도 내 진료 기록을 보여주지 마라"고 말합니다.
2 일: 그녀는 결혼하고 "좋아, 이제 내 남편에게 내 처방전을 보여줘도 돼"라고 말합니다.
3 일: 그녀는 아이를 낳고 "이제 당신은 내 건강 상태에 대해 내 아이들에게 반드시 알려야 해"라고 말합니다.

만약 당신이 일반적인 컴퓨터 프로그램이었다면, 멈춰 버렸을지도 모릅니다. 만약 첫 번째 규칙만 따랐다면 2 일과 3 일에 그녀의 신뢰를 저버리게 되었을 것입니다. 만약 마지막 규칙만 따랐다면 첫 번째 규칙을 위반했을지도 모릅니다. 이 논문은 묻습니다: AI 는 어떻게 움직이는 표적을 따라갈 수 있을까요?

해결책: "가드 레일"과 "결함 가능 계산기"

저자들은 이 문제를 해결하기 위해 SocialBot이라는 AI 를 개발했습니다. 그들은 봇에게 단순한 규칙 목록을 주는 대신, **"결함 가능 계산기 (defeasible calculus)"**라는 특별한 사고 방식을 부여했습니다.

간단한 비유를 통해 이것이 어떻게 작동하는지 살펴보겠습니다.

1. "가드 레일" 개념

AI 가 자동차를 운전한다고 상상해 보세요. "계획"은 운전자가 가고자 하는 경로이고, "규범 (규칙)"은 도로 옆에 있는 가드 레일입니다.

AI 는 규칙에 의해 운전하도록 동기를 부여받을 필요가 없습니다. 움직이기 전에 가드 레일을 확인하기만 하면 됩니다.
가드 레일에 "건너지 마라"고 적혀 있다면, 차는 멈춥니다.
가드 레일에 "건너도 된다"고 적혀 있다면, 차는 진행합니다.
중요한 점은, 인간이 그렇게 말하면 이러한 가드 레일이 즉시 이동하거나 제거될 수 있다는 것입니다.

2. "결함 가능 계산기" (두뇌)

이것은 규칙을 작동하게 만드는 수학적인 부분입니다. "결함 가능 (Defeasible)"은 **"무효화될 수 있는"**이라는 고급 단어입니다.

로봇의 뇌 안에 있는 법정처럼 생각하세요.

기본 가정: 논문은 민감한 사항 (예: 진료 기록) 에 대해 로봇은 기본적으로 **"아니오"**라고 가정해야 한다고 말합니다. 이는 "금지적 폐쇄 (Prohibitive Closure)"와 같습니다. 명시적으로 "예"라고 말하지 않았다면, 로봇은 안전을 위해 "아니오"라고 가정합니다.
증거: 인간이 "내 남편에게는 말해도 돼"라고 말할 때, 그것은 새로운 증거입니다.
갈등 해결: 인간이 "아무에게도 말하지 마라" (규칙 A) 고 말한 후 나중에 "내 남편에게는 말해라" (규칙 B) 고 말하면 어떻게 될까요?
- 로봇의 "계산기"는 날짜를 확인합니다. 규칙 B 가 더 최신입니다.
- 범위를 확인합니다. 규칙 B 가 규칙 A 와 동일한 영역을 다루나요? 네.
- 판결: 규칙 B 는 남편에 대해 구체적으로 규칙 A 를 "무효화 (overrules)"합니다. 로봇은 이제 "남편을 제외하고는 누구에게도 말하지 마라"고 알게 됩니다.

이 논문은 수학적으로 이 시스템이 로봇이 동시에 두 가지 모순된 사실이 참이라고 생각하지 않도록 방지한다는 것을 증명합니다 (예: 공유가 동시에 "허용"되고 "금지"된다고 생각하지 않음).

실험: SocialBot 의 실제 작동

연구자들은 Microsoft Teams 에서 사람들과 대화하는 챗봇인 SocialBot을 통해 이를 테스트했습니다.

설정: 그들은 1,536 가지 다른 시나리오가 포함된 가상의 세계를 만들었습니다. 이러한 시나리오에서 사용자는 "나는 피자를 좋아해"라고 말한 후, "내 음식 선호도를 아무에게도 말하지 마라"고 말한 다음, "사실, 피자에 대해 밥에게 말해도 돼"라고 말합니다.
테스트: 제 3 자 (소크라테스 같은 사람) 가 봇에게 "플라톤은 무엇을 좋아해?"라고 묻습니다.
결과: 봇은 100% 정확했습니다.
- 규칙이 "말하지 마라"였을 때, 봇은 "말할 수 없습니다"라고 답했습니다.
- 규칙이 "밥에게 말해라"로 업데이트되었을 때, 봇은 밥에게 말했습니다.
- 규칙이 "밥에게는 말하되 소크라테스에게는 말하지 마라"였을 때, 봇은 밥에게 말하고 소크라테스에게는 침묵했습니다.

왜 이것이 중요한가 (논문에 따르면)

오늘날의 대부분의 AI(대형 챗봇 등) 는 대화를 나눌 수 있지만, 규칙을 위반하도록 속이거나 조작당할 수 있습니다. 그들은 규칙이 왜 존재하는지, 또는 인간이 마음을 바꿀 때 규칙을 어떻게 업데이트해야 하는지에 대한 견고한 수학적 기반을 가지고 있지 않습니다.

이 논문은 다음과 같은 AI 를 위한 청사진을 제공합니다:

인간의 규칙을 경청합니다.
규칙이 다른 규칙의 예외가 될 수 있음을 이해합니다.
규칙을 "가드 레일"로 사용하여, 하고 싶더라도 하지 말아야 할 일을 스스로 멈추게 합니다.

이것이 하지 않는 것 (한계)

저자들은 로봇이 아직 할 수 없는 것에 대해 매우 솔직합니다:

그것은 한 번에 한 사람의 규칙만 처리합니다. A 사람의 규칙과 B 사람의 규칙을 저울질할 수 없습니다 (예: "엄마는 말하라고 하고, 아빠는 말하지 말라고 함").
합성 데이터셋(가상 대화) 에서 테스트되었으며, 실제 세계의 복잡한 인간 드라마에서는 테스트되지 않았습니다.
규칙을 이해하기 위해 로봇이 이미 기본 사실 (누가 누구와 결혼했는지 등) 을 알고 있다고 가정합니다.

요약하자면, 이 논문은 AI 가 당신의 변화하는 사생활 보호 요구를 존중하는 충실하지만 유연한 비서가 되는 법을 가르칩니다. 이는 당신이 지시하는 대로 정확히 움직이는 똑똑한 가드 레일처럼 행동합니다.

기술 요약: 역동적으로 변화하는 규범을 활용한 추론 및 계획

문제 제기

AI 에이전트가 인간의 사회적 환경에 통합됨에 따라, 인간은 규범을 학습할 뿐만 아니라 역동적으로 변화하는 규범적 제약을 존중하도록 계획 행동을 적응시켜야 합니다. 기존 연구는 인공지능 에이전트 공동체 내에서의 규범 학습과 추론을 다루어 왔으나, 인간-AI 환경에서의 규범 기반 계획은 특히 규범의 역동적 성격과 관련하여 충분히 탐구되지 않았습니다. 대규모 언어 모델 (LLM) 과 같은 기존 접근법은 규범적 추론을 위한 이론적 기반이 부족하며 조작에 취약한 것으로 입증되었습니다. 또한 인간의 규범은 정적이지 않으며, 새로운 증언 (예: 사용자가 처음에는 정보 공유를 금지했다가 이후 특정 조건 하에 이를 허용하는 경우) 을 통해 진화합니다. 핵심적인 과제는 이러한 진화하는 규범 간의 충돌을 해결하고 이를 행동 계획을 안전하게 제약하는 '가드 레일'로 활용하기 위한 AI 를 위한 형식적 메커니즘을 제공하는 것입니다.

방법론

본 논문은 역동적으로 변화하는 규범을 모델링하고, 추론하며, 계획하기 위해 술어 논리와 비결정적 논리에 기반한 형식적 접근법을 제안합니다.

1. 형식적 표현

온톨로지: 시스템은 세계를 표현하기 위해 OpenCyc 에서 파생된 NextKB 온톨로지를 활용합니다. 지식은 마이크로이론을 통해 문맥화되어 다양한 에이전트의 특정 신념을 추적할 수 있게 합니다.
규범 프레임: 규범을 도입하는 자연어 진술인 규범적 증언은 규범 프레임으로 인코딩됩니다. 규범 프레임은 다음으로 구성됩니다:
- context: 규범이 활성화되기 위해 참이어야 하는 리터럴의 논리곱.
- behavior: 행동을 나타내는 리터럴의 논리곱.
- evaluation: 의무적 (Obligatory), 선택적 (Optional), 금지적 (Impermissible) 중 하나인 도덕적 연산자.
규범 기반 계획: 계획은 규범적 신념이 전제조건 (가드 레일) 으로 작용하는 계층적 작업 네트워크 (HTN) 로 형식화됩니다. 에이전트의 현재 규범적 신념이 행동을 허용한다고 판단할 때만 계획이 실행됩니다.

2. 충돌 해결을 위한 비결정적 미적분

핵심 기여는 잠재적으로 충돌하는 증언의 흐름으로부터 에이전트의 현재 규범적 신념을 추론하는 비결정적 미적분입니다. 시스템은 다음에 기반하여 충돌을 해결합니다:

시간적 순서: 일반적으로 새로운 규범이 이전 규범을 우회합니다.
함의 및 포괄: 시스템은 충돌하는 규범의 행동과 문맥 간의 논리적 관계 (직접, 간접, 교차 충돌) 를 분석합니다.
폐쇄 가정: 시스템은 두 가지 기본 가정 중 하나 하에서 작동합니다:
- 금지적 폐쇄: 명시적으로 허용되지 않는 한 행위는 기본적으로 금지됩니다 (민감한 데이터에 사용됨).
- 허용적 폐쇄: 명시적으로 금지되지 않는 한 행위는 기본적으로 허용됩니다.

이 미적분은 혼 클로즈와 실패에 의한 부정 (uninferredSentence) 을 사용하여 후속 충돌 규범에 의해 허가나 금지가 '무효화'되었는지 판단합니다. 예를 들어, 금지적 폐쇄 하에서, 금지의 적용 근거가 허가의 적용 근거를 포괄하는 경우 후속 금지가 이전 허가를 무효화할 수 있습니다.

3. 경험적 구현: SocialBot

이 접근법은 Companion 인지 아키텍처에 구축된 AI 대화 에이전트인 SocialBot에 구현되었습니다.

도메인: 정보 공유 및 개인정보 보호.
상호작용: 사용자는 자연어 (NL) 를 통해 상호작용합니다. SocialBot 은 Companion 자연어 이해 (CNLU) 시스템을 사용하여 NL 을 의미 표현으로 변환합니다.
작업 흐름:
1. 사용자가 선호도를 가르침 (예: "나는 AI 를 좋아해").
2. 사용자가 규범적 증언을 제공 (예: "내 AI 에 대한 좋아요를 공유해야 해" 또는 "내 의료 기록을 공유하지 마").
3. 사용자가 봇에 질의 (예: "Karli 는 무엇을 좋아해?").
4. SocialBot 은 답변을 위한 계획을 실행하려 시도합니다. 실행 전에 현재 역동적으로 업데이트된 규범적 신념에 따라 해당 행동 (정보 공유) 이 허용되는지 확인합니다.

주요 기여

규범 충돌을 위한 비결정적 미적분: 시간적 순서와 논리적 포괄에 기반하여 직접, 간접, 교차 충돌을 처리하는 규범적 증언의 충돌을 해결하는 형식 논리.
규범 기반 계획 프레임워크: 역동적으로 변화하는 규범적 신념을 AI 계획의 가드 레일(전제조건) 로 취급하여 행위가 허용될 때만 실행되도록 보장하는 방법.
이론적 검증: 동일한 문맥에서 행위가 허용되고 금지된다고 동시에 추론되지 않도록 보장하며, 미적분이 규범적 신념을 올바르게 추론함을 보여주는 형식적 증명.
경험적 평가: 규범 충돌, 선호도 도입, 질의의 모든 순열을 다루는 1,536 개의 대화 사례로 구성된 합성 데이터셋을 사용한 평가.

결과

이론적: 형식적 증명 (정리 1~4) 은 금지적 및 허용적 폐쇄 가정 하에서 세 가지 유형의 규범 충돌 (직접, 간접, 교차) 을 추론 규칙이 올바르게 처리함을 확인합니다. 시스템은 일관성을 보장합니다: 행위가 허용된다고 추론되면 동시에 금지된다고 추론될 수 없습니다.
경험적: SocialBot 을 이용한 실험에서 에이전트는 1,536 개의 합성 대화 사례 전반에 걸쳐 100% 의 선호도 질의에 올바르게 응답했습니다.
- 결과는 통계적으로 유의미 ( $p < .01$ ) 하여 성능이 무작위 우연에 기인했다는 귀무가설을 기각했습니다.
- 에이전트는 새로운 증언을 기반으로 사용자의 개인정보 보호 규범에 대한 이해를 성공적으로 업데이트했으며, 정보 공유 여부를 결정할 때 이러한 업데이트된 신념을 준수했습니다.

중요성 및 주장

본 논문은 인간-AI 환경에서 역동적으로 변화하는 규범으로 AI 계획을 안내하기 위한 이론적으로 기반을 둔 접근법을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

정적 규범 학습을 넘어 역동적 적응으로 나아가 에이전트가 진화하는 인간의 소망 (예: 의료 기록 공유에 대한 사용자의 생각 변화) 을 존중할 수 있도록 함.
일부 LLM 기반 접근법에서 발견되는 조작 가능성과 이론적 엄밀성 부족을 피하는 규범적 추론을 위한 형식적 기반 제공.
규범이 효과적인 가드 레일로 작용할 수 있음을 입증하여, 의무와 재량적 규범을 계획 실행의 전제조건으로 작용하는 허가로 축소함.

저자는 단일 에이전트의 규범에 초점을 맞춘 점 (다중 에이전트 가중치 부재), 함의를 위한 배경 지식 의존성, 합성 데이터셋 사용 등을 포함한 현재 한계를 지적합니다. 이 연구는 AI 에이전트의 행동이 인간의 규범적 기대와 일관되도록 보장하는 적응형 가드 레일을 향한 한 걸음으로 제시됩니다.