Explainability Framework for Policy-Aware Autonomous Agents

당신의 토스터, 자동차, 그리고 병원의 스케줄링 시스템이 모두 "자율 에이전트(autonomous agents)"라고 불리는 작고 보이지 않는 두뇌에 의해 운영되는 세상을 상상해 보세요. 이들은 단순히 하나의 명령을 따르는 단순한 로봇이 아닙니다. 이들은 복잡한 데이터 더미를 살펴보고 목표에 도달하기 위해 다음에 무엇을 할지 결정하는 스마트한 시스템입니다. 하지만 여기에는 함정이 있습니다. 때때로 이 스마트한 두뇌들은 우리 인간에게는 이상하거나, 불공정하거나, 혹은 그저 혼란스러워 보이는 선택을 내리기도 합니다. 만약 자율 주행 자동차가 갑자기 방향을 틀거나, 병원 스케줄러가 간호사에게 낮 근무를 원했는데도 밤 근무를 배정한다면, 우리는 그 이유를 알고 싶어 합니다. 우리는 단순히 코드의 목록을 원하는 것이 아니라, 하나의 '이야기'를 원합니다. 이것이 바로 "설명 가능한 AI(explainable AI)"의 핵심입니다. 이 분야는 기계가 우리에게 평이한 영어로 대화하고, 그들의 논리를 설명하여 우리가 그들을 신뢰할 수 있도록 가르치려 노력하고 있습니다.

여러분이 탐구하게 될 이 논문은 특정한 종류의 스마트 에이전트를 다룹니다. 바로 엄격한 규칙 책을 따르는 에이전트입니다. 이 에이전트들을 수학 문제를 풀어야 하지만 동시에 "복도에서 뛰지 않기"나 "항상 손 들고 발표하기"와 같은 학교 규칙도 지켜야 하는 학생이라고 생각해 보세요. 만약 학생이 규칙을 어기면, 그는 "벌점(detention)"과 같은 처벌을 받게 됩니다. 이 연구의 저자인 헤더 메루트(Heather Merhout)와 다니엘라 인클레잔(Daniela Inclezan)은 인간에게 이 학생이 왜 특정 선택을 했는지 어떻게 설명할 수 있을지 알아내고자 했습니다. 그들은 단순히 "규칙이 그랬으니까요"라고 말하고 싶었던 것이 아닙니다. 그들은 사회 과학의 영리한 기법을 사용하고자 했습니다. 바로 "만약 네가 반대로 행동했다면 어떻게 되었을까?"라고 묻는 것입니다. 에이전트가 규칙을 어겼을 상황을 가정하는 "만약에(what-if)"의 세계를 상상함으로써, 그들은 원래의 선택이 왜 최선이었는지를 입증하기 위해 어떤 재앙이 일fold했을지를 보여줄 수 있었습니다.

"만약에" 기계의 마법

그렇다면 이것은 실제로 어떻게 작동할까요? 연구진은 "병원 스케줄링 시스템"이라는 디지털 놀이터를 구축했습니다. 이 세상에서 AI 에이전트는 바쁜 수간호사 역할을 합니다. 그의 임무는 팀원들에게 교대 근무를 배정하는 것이며, 모든 교대 시간이 채워지도록 보장하는 동시에 주말 휴무를 원하거나 낮 근무를 선호하는 것과 같은 간호사들의 개인적인 바람을 존중하려고 노력하는 것입니다.

에이전트를 똑똑하게 만들기 위해, 연구진은 AOPL(Authorization and Obligation Policy Language)이라는 특별한 언어를 사용하여 규칙 책을 제공했습니다. 이것은 단순한 "해야 할 일과 하지 말아야 할 일"의 목록이 아닙니다. 이것은 모든 규칙에 가격표가 붙어 있는 시스템입니다. 만약 에이전트가 규칙을 어기면, 그는 벌점을 받습니다.

• 중요 규칙: 어떤 규칙들은 매우 엄격합니다. 예를 들어, "교대 근무 인원이 부족한 상태로 남겨둘 수 없다"는 규칙입니다. 만에 에이전트가 이를 시도하면, 그는 무거운 벌점(5점 및 부족한 간호사 한 명당 추가 점수)을 받습니다.
• 부드러운 규칙: 다른 규칙들은 더 부드럽습니다. 예를 들어, "간호사 젤다는 토요일 휴무를 선호한다"는 규칙입니다. 만약 에이전트가 이를 무시하면, 그는 작은 벌점(3점)을 받습니다.

에이전트의 목표는 최소한의 총 벌점 점수를 만드는 것입니다. 이는 마치 가능한 한 적은 수의 물풍성을 맞으려고 노력하는 게임과 같습니다.

탐정 작업: 대조적 설명

여기서 마법이 일어납니다. 연구진은 최종 스케줄을 보여주는 것만으로는 충분하지 않다는 것을 깨달았습니다. 인간은 호기심이 많습니다. 우리는 "왜 젤다에게는 이 근무를 배정하고, 저 근무는 배정하지 않았나요?"라고 묻고 싶어 합니다.

이 질문에 답하기 위해, 팀은 시간 여행을 하는 탐정처럼 행동하는 프로그램을 만들었습니다. 사람이 "왜 젤다가 2월 3일에 쉬었나요?"라고 물으면, 프로그램은 단순히 답을 찾아내는 데 그치지 않습니다. 프로그램은 반사실적 세계(counterfactual world), 즉 답이 달라지는 평행 우주를 만들어냅니다.

프로그램이 이렇게 말한다고 상상해 보세요. "좋아요, 젤다가 2월 3일에 쉬지 않았다고 가정해 봅시다. 그녀가 그날 근무하도록 강제해 봅시다."
그 후 프로그램은 이 새로운 가짜 세계에서 스케줄링 게임을 다시 실행합니다. 갑자기, AI는 벽에 부딪힙니다. 젤다가 그날 근무하게 됨으로써 스케줄이 엉망이 됩니다. 아마도 야니(Yanni)라는 다른 간호사가 싫어하는 근무를 해야 하거나, 근무 시간대에 아무도 없는 상황이 발생할 수도 있습니다. 프로그램은 이 가짜 세계에서 벌점 점수가 치솟는 것을 목격합니다.

프로그램은 이 재앙을 인간이 이해하기 쉬운 문장으로 번역합니다:
"우리가 젤다에게 2월 3일 휴무를 준 이유는, 만약 그렇게 하지 않았다면 야니의 선호 근무에 대한 규칙을 어겨야 했고, 이는 3점의 벌점을 초래했을 것이기 때문입니다."

이것을 **대조적 설명(contrastive explanation)**이라고 합니다. 에이전트가 존재하는 모든 이유를 나열하는 대신, 그것은 일어난 일과 에이전트가 다른 선택을 했을 때 일어날 수 있었던 일 사이의 차이에 집중합니다. 이는 "네가 저녁으로 아이스크림을 먹을 수 없는 이유는, 만약 그렇게 한다면 채소를 먹지 않을 것이고, 그러면 나중에 배가 고플 것이기 때문이야"라고 설명하는 부모의 방식과 같습니다. 이 설명은 대안적인 선택이 가져올 부정적인 결과를 강조함으로써 작동합니다.

인간 테스트: 말이 통하는가?

연구진은 단순히 이것을 만들고 운에 맡긴 것이 아니라, 실제 사람들을 대상으로 테스트했습니다. 그들은 12명의 자원봉사자에게 두 가지 시나리오를 보여주었습니다. 하나는 젤다가 선호하는 휴일을 얻은 상황에 대한 것이고, 다른 하나는 하워드(Howard)가 선호하는 근무를 얻지 못한 상황에 대한 것이었습니다.

결과는 꽤 고무적이었습니다.

• 이해력: "이 설명이 이해가 되나요?"라는 질문에, 75%의 사람들이 두 이야기 모두에 대해 즉시 "예"라고 답했습니다. 또 다른 16.7%에서 25%는 "예, 하지만 다시 읽어야 했습니다"라고 답했습니다. 아주 적은 비율(8.3% 또는 0%)만이 전혀 이해되지 않는다고 답했습니다.
• 깊이: 1점에서 5점 척도로 이해도를 평가해 달라는 요청에, 대부분의 사람들은 4 또는 5점을 주었습니다. 이는 "만약에" 이야기가 명확하고 유용했음을 시사합니다.
• 정보 과잉? 연구진은 자신들이 너무 많은 정보를 제공하여 (대화의 규칙 중 하나인 "양(Quantity)"을 위반하는 것은 아닌지) 걱정했습니다. 그러나 대부분의 사람들은 정보의 양이 딱 적당하다고 느꼈습니다. 유일한 문제는 두 번째 이야기에서 발생했는데, 일부 사용자들은 왜 다른 옵션들이 선택되지 않았는지에 대해 더 자세한 설명을 원했습니다. 프로그램은 "다른 스케줄들도 규칙을 어길 수 있습니다"라는 작은 노트를 추가했지만, 일부 사용자들은 이 노트가 명확하게 해주는 것이 아니라 오히려 혼란스럽다고 느꼈습니다.

결론

이 논문은 AI의 미스터리를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 특정 유형의 문제에 대한 견고하고 작동 가능한 프레임워크를 제시합니다. 즉, 규칙을 따르는 AI가 왜 특정 선택을 했는지 설명하는 법입니다. AI의 두뇌 속에 구축된 "벌점" 시스템을 사용함으로써, 연구진은 "X를 한 이유는 Y를 했을 때 더 큰 문제가 발생했을 것이기 때문입니다"라고 말하는 이야기를 자동으로 생성할 수 있습니다.

이 연구는 이러한 대조적 추론 방식—선택이 피했던 문제를 보여줌으로써 선택을 설명하는 방식—이 인간에게 잘 작동한다는 것을 시사합니다. 이는 차갑고 딱딱한 논리를 대화처럼 느껴지는 서사로 바꾸어 놓습니다. 현재 버전은 다소 경직되어 있지만(한 번에 하나의 질문에만 답하며 때로는 복잡한 수학에서 막히기도 함), 우리가 단순히 일을 수행하는 것을 넘어, 왜 그 일을 했는지 우리에게 말해줄 수 있는 에이전트를 구축할 수 있음을 증명하며, 이를 통해 우리가 그들을 조금 더 신뢰할 수 있게 만듭니다.