Design Considerations for Human Oversight of AI: Insights from Co-Design Workshops and Work Design Theory

이 논문은 심리학 및 컴퓨터 과학 전문가들과의 공동 설계 워크숍을 통해 도출된 사용자 요구사항을 작업 설계 이론인 SMART 모델과 결합하여, AI 시스템에 대한 인간의 감독을 효과적이고 동기 부여가 되도록 지원하는 12 가지 디자인 고려사항을 제시하는 통합 프레임워크를 개발했습니다.

핵심

이 논문은 **"인공지능 (AI) 이 일을 대신할 때, 사람이 어떻게 하면 지루하지 않고 의미 있게 그 AI 를 감시할 수 있을까?"**라는 질문에 답하기 위해 쓴 연구입니다.

마치 유명한 요리사가 이제 로봇이 요리를 대신하게 되었을 때, 그 요리사가 무엇을 해야 할지 고민하는 상황이라고 상상해 보세요. 로봇이 요리를 다 해내는데, 요리사는 그냥 구경만 해야 할까요? 아니면 로봇이 만든 요리를 맛보고 고쳐야 할까요? 만약 로봇이 실수해서 소금에 절인 요리를 내놨다면, 그걸 모른 채 손님에게 내면 큰일이 나죠.

이 논문은 바로 그 **'로봇 요리사 (AI) 를 감시하는 사람 (감시자)'**이 어떻게 하면 일을 잘하고, 지루하지 않으며, 스스로의 역할에 만족할 수 있을지 연구했습니다.

---

1. 연구의 배경: 왜 AI 를 감시해야 할까?

요즘 AI 는 점점 똑똑해져서 의사, 판사, 선생님 같은 전문가들의 일을 대신하기도 합니다. 하지만 AI 가 100% 완벽할 수는 없죠. 가끔은 엉뚱한 짓을 하거나, 편견을 가질 수도 있습니다. 그래서 사람이 마지막 관문 (감시자) 으로 서서 AI 의 실수를 잡아내야 합니다.

하지만 문제는, 이 '감시'라는 일이 너무 지루하고 스트레스를 준다는 점입니다.

• 비유: 마치 감시 카메라를 24 시간 내내盯着 (바라보며) 있는 경비원처럼, AI 가 만든 수많은 결과물을 하나하나 확인하다 보면 사람은 금방 지치고, "내가 왜 이 일을 하지?"라는 생각이 들게 됩니다.

2. 연구 방법: 전문가들과 함께 '상상'해보기

저자들은 심리학과 컴퓨터 과학 전공자 12 명을 모아 워크숍을 열었습니다.

• 미션: 참가자들은 AI 가 학생들의 시험 문제를 채점하는 시스템을 감시하는 역할을 맡았습니다.
• 과정:
  1. 먼저 AI 가 채점한 결과를 직접 확인해보며 "어? 이게 뭐지?"라고 느끼는 경험을 했습니다.
  2. 그다음, "어떻게 하면 이 감시 일을 더 잘하고, 재미있게 할 수 있을까?"를 논의했습니다.
  3. 마지막으로, **종이로 만든 가상의 화면 (프로토타입)**을 직접 설계해 보았습니다.

3. 발견한 핵심: 사람들이 원하는 4 가지

참가자들이 겪은 경험을 분석한 결과, 감시자가 일을 잘하려면 다음 4 가지가 필요하다는 것을 발견했습니다.

1. 내 역할이 뭐지? (명확한 책임감)

   • "내가 AI 를 다 고쳐야 하는 건가, 아니면 AI 가 틀린 것만 고쳐야 하는 건가?"가 불분명하면 스트레스를 받습니다.
   • 해결책: 화면에 "너는 AI 를 고치는 게 아니라, AI 가 놓친 위험한 부분만 잡아내면 돼"라고 명확히 알려주는 것이 중요합니다.

2. AI 가 왜 그렇게 했는지 알고 싶어 (AI 의 생각 이해)

   • AI 가 "이 학생은 0 점이다"라고 하면, "왜?"라고 궁금해합니다. AI 가 어떤 기준으로 점수를 매겼는지 모르면 감시할 수 없습니다.
   • 해결책: AI 가 "이 부분은 잘 못 봤어"라고 스스로 고백하거나, "이 학생은 이 부분에서 실수했어"라고 설명해주는 기능이 필요합니다.

3. 내가 한 일이 의미가 있어야 (의미 부여)

   • 단순히 "틀린 것 고치기"만 하면 지루합니다. 하지만 "이 학생이 AI 실수로 낙방하지 않게 도와줬다"라고 생각하면 보람을 느낍니다.
   • 해결책: 화면에 "너 덕분에 5 명의 학생이 합격했다"처럼 내가 한 일이 어떤 좋은 결과를 만들었는지 보여줘야 합니다.

4. 함께 이야기하고 싶어 (소통)

   • 혼자 감시하는 건 외롭습니다. 동료들과 "오늘 AI 가 이런 엉뚱한 실수를 했어!"라고 이야기하거나, AI 를 마치 동료처럼 대하며 대화하고 싶어 합니다.
   • 해결책: 동료와 이상한 사례를 공유할 수 있는 게시판이나, AI 와 대화할 수 있는 친근한 캐릭터를 도입하는 것이 좋습니다.

4. 제안된 해결책: 'SMART'라는 나침반

저자들은 이 4 가지 요구사항을 바탕으로, 일하는 사람의 심리를 잘 아는 'SMART'라는 이론을 적용했습니다. (S=Stimulating, M=Mastery, A=Autonomous, R=Relational, T=Tolerable)

이론을 바탕으로 만든 12 가지 디자인 원칙은 다음과 같은 비유로 설명할 수 있습니다:

• 재미있게 (Stimulating): 감시 일을 '로봇 청소기'처럼 단순 반복이 아니라, '보물찾기'처럼 흥미로운 부분만 찾아내는 게임처럼 만들어라.
• 잘할 수 있게 (Mastery): AI 가 왜 그런 결정을 내렸는지, 내가 어떤 역할을 하는지 명확히 알려줘서 감시자가 '내가 전문가야'라고 느끼게 하라.
• 자유롭게 (Autonomous): "이거부터 고쳐라"라고 강요하지 말고, 감시자가 "이 부분부터 확인하고 싶어"라고 스스로 선택하게 하라.
• 연결되게 (Relational): 동료들과 이야기를 나누거나, AI 를 친구처럼 느끼게 하여 외로움을 없애라.
• 부담 없게 (Tolerable): 감시할 일이 너무 많으면 포기하게 되니, 중요한 것만 골라내서 감시자가 감당할 수 있는 수준으로 만들어라.

5. 결론: AI 시대의 '좋은 일'을 만들자

이 논문의 핵심 메시지는 **"AI 가 일을 대신해도, 사람이 그 일을 감시할 때 지루하고 불행하지 않도록 시스템을 설계해야 한다"**는 것입니다.

단순히 "실수만 잡으면 돼"가 아니라, **감시자가 자신의 일에 자부심을 느끼고, 동료와 소통하며, AI 와 협력하는 '좋은 일 (Good Work)'**을 설계하는 것이 중요합니다. 이렇게 해야만 AI 시대에 사람이 AI 를 제대로 통제하고, AI 의 혜택을 누릴 수 있기 때문입니다.

한 줄 요약:

"AI 가 요리를 해도, 요리사 (감시자) 가 지루해하지 않고 맛있게 요리를 감시할 수 있도록, 요리사에게 '내가 왜 이 일을 하는지' 알려주고, '동료와 이야기할 수 있는 공간'을 만들어주는 것이 AI 시대의 중요한 디자인입니다."

기술 요약

1. 문제 정의 (Problem)

• 배경: AI 시스템의 자율성과 능력이 향상되면서, 의료, 교육, 사법 등 고위험 분야에서 AI 의 오류를 감지하고 개입하는 '인간 감독'의 역할이 필수적이 되었습니다.
• 현황: 기존 연구는 주로 AI 의 설명 가능성 (XAI) 이나 기술적 효율성에 초점을 맞추었습니다.
• 문제점: 그러나 효과적인 감독은 단순히 오류를 찾는 기술적 능력뿐만 아니라, 감독자의 동기, 참여도, 작업의 의미 부여에 크게 의존합니다.
  • 감독 업무는 지루하고 스트레스를 유발할 수 있으며, 전문가들이 자신의 판단을 직접 수행하는 역할에서 AI 를 감시하는 역할로 전환되면서 업무의 본질적 가치가 훼손될 수 있습니다.
  • 현재 인간 감독을 지원할 인터페이스 설계에 대한 구체적인 가이드라인과 심리적 요구를 반영한 체계적인 프레임워크가 부족합니다.

2. 연구 방법론 (Methodology)

연구는 참여적 설계 (Participatory Design) 접근법과 **작업 설계 이론 (Work Design Theory)**을 결합하여 수행되었습니다.

• 공동 설계 워크숍 (Co-Design Workshops):
  • 참가자: 컴퓨터 과학 및 심리학 분야의 도메인 전문가 12 명 (4 개 그룹, 각 3 명) 으로 구성.
  • 과제: 참가자들은 AI 기반 학생 시험 채점 시스템을 감독하는 역할을 수행했습니다. (실제 강의 자료와 OpenAI 모델을 사용하여 생성된 채점 데이터 사용)
  • 프로세스:
    1. 실제 감독 수행: 참가자들이 AI 채점 결과를 검토하고 오류를 찾는 작업을 수행.
    2. 경험 및 요구사항 논의: 자신의 접근 방식, 감정, 그리고 효과적인 감독을 위해 필요한 인터페이스 기능에 대해 논의 (애피니티 다이어그램 작성).
    3. 프로토타이핑: 논의된 요구사항을 바탕으로 종이 프로토타입 (Paper Mock-up) 을 직접 설계.
• 데이터 분석: 반성적 주제 분석 (Reflexive Thematic Analysis) 을 통해 워크숍 녹화 자료와 프로토타입을 분석하여 주요 주제와 사용자 요구사항을 도출.
• 이론적 통합: 도출된 실증적 통찰을 SMART 작업 설계 모델 (Stimulation, Mastery, Agency, Relatedness, Tolerable demands) 과 통합하여 일반화된 설계 프레임워크를 개발.

3. 주요 결과 (Key Results)

3.1. 도메인 전문가의 초기 접근 방식 및 경험

• 비효율적 접근: 많은 참가자가 감독 역할이 아닌, 직접 모든 시험지를 다시 채점하는 방식 (Manual Grading) 을 취했습니다. 이는 비효율적이었고 피로감과 좌절감을 유발했습니다.
• 긍정적 경험: AI 의 강점과 약점을 이해하여 불공정한 점수를 찾아내거나, 경계선 사례 (Borderline cases) 에 집중하거나, AI 가 쉽게 처리하는 부분을 필터링하는 방식이 더 의미 있고 만족스러운 경험으로 이어졌습니다.
• 부정적 감정: AI 에 대한 불신, 불필요한 추가 업무之感, 무력감, 그리고 학생들에 대한 책임감으로 인한 스트레스가 보고되었습니다.

3.2. 도출된 4 가지 핵심 사용자 요구사항

1. 역할 이해 (Role Understanding): 자신의 책임, 업무 범위, AI 와의 역할 분담이 명확해야 함.
2. AI 이해 (AI Understanding): AI 의 의사결정 과정, 능력, 한계 (신뢰도 점수 등) 에 대한 통찰이 필요함.
3. 의미 부여 (Meaningfulness): 단순한 확인을 넘어, 학생들에게 의미 있는 피드백을 주거나 AI 가 놓친 부분을 보완하는 등 업무에 기여한다는 느낌을 받아야 함.
4. 관계적 측면 (Relational Aspects): 동료 감독자, 학생, 그리고 AI 와의 상호작용 (소통, 공유) 이 필요함.

3.3. 설계 프레임워크: 12 가지 설계 고려사항

SMART 모델을 기반으로 한 5 가지 차원 (자극, 숙련, 자율성, 관계성, 감당 가능) 에 따라 12 가지 구체적인 설계 고려사항을 제안했습니다.

SMART 차원	설계 고려사항 (Design Considerations)	예시 (프로토타입 기반)
자극 (Stimulating)	1. 기술 다양성 (Skill Variety): 다양한 유형의 테스트나 오류 유형을 제공하여 단조로움 방지.	AI 신뢰도가 낮은 사례나 이상치를 별도 영역에 표시.
	2. 감독의 의미 (Meaningfulness): 사용자가 의미 있는 기여를 할 수 있도록 인터페이스 반영.	합격 기준선 바로 아래 학생들을 필터링하여 불합격 방지 지원.
숙련 (Mastery)	3. AI 이해: AI 의 능력과 의사결정 과정을 지원하는 정보 제공.	각 유형별 AI 채점 평균 신뢰도 표시, 의사결정 근거 하이라이트.
	4. 감독 역할 이해: UI 요소가 역할 인식을 명확히 함.	'수정' 버튼은 있지만 '수락' 버튼은 없게 하여 재채점 유도 방지.
	5. 피드백: 작업 진행 상황과 개입의 영향을 시각화.	감독자가 수정한 점수가 전체 합격률에 미친 영향 통계 제공.
자율성 (Autonomous)	6. 시간 자율성: 업무 순서와 타이밍 조절 권한 부여.	개별 테스트를 '나중에 검토'할 수 있는 저장 기능 제공.
	7. 방법 자율성: 감시 및 개입 방식 선택 권한 부여.	테스트를 정렬/그룹화하여 검토 우선순위 선택 가능.
관계성 (Relational)	8. 동료 관계: 다른 감독자와의 정보 교환 지원.	흥미로운 학생 답안 공유 기능 ('Board of Shame' 등).
	9. 영향받는 개인과의 관계: 감독이 타인에게 미치는 긍정적 영향 인식.	학생에게 동기 부여 코멘트나 건설적 피드백 추가 기능.
	10. AI 와의 관계: AI 와의 상호작용이 관계적 요구를 충족하되 편향을 유발하지 않도록 설계.	AI 를 동료처럼 대화 가능한 캐릭터로 표현 (신중함 필요).
감당 가능 (Tolerable)	11. 역할 과부하 (Role Overload): 업무 요구사항을 관리 가능한 형태로 제시.	진행률 바, 리소스 관리 지표 제공.
	12. 역할 갈등 (Role Conflicts): 사용자 (감독) 와 AI 의 책임 명확히 분리.	직접 채점 대신 AI 에게 재검토를 요청하는 방식만 허용.

4. 기여 및 의의 (Significance)

• 이론적 기여: 인간-AI 상호작용 (HAI) 연구에 작업 설계 (Work Design) 이론, 특히 SMART 모델을 적용하여, 기술적 효율성뿐만 아니라 인간의 심리적 욕구 (자율성, 유능감, 관계성 등) 를 충족시키는 감독 인터페이스 설계의 중요성을 강조했습니다.
• 실무적 기여: 12 가지 설계 고려사항을 통해 구체적인 인터페이스 설계 가이드를 제공했습니다. 이는 채점 시스템뿐만 아니라 의료 진단, 법률 판단, 난민 심사 등 다양한 고위험 AI 감독 영역에 적용 가능한 일반화된 프레임워크입니다.
• 기존 가이드라인 확장: 구글, 애플, 마이크로소프트의 기존 HAI 가이드라인과 비교하여, 자동화된 작업의 감독이라는 특수한 맥락에서 발생하는 역할 갈등, 의미 부여, 관계적 요구 등을 더 깊이 있게 다루고 있음을 강조했습니다.
• 지속 가능성: 단순한 오류 방지를 넘어, 감독자가 장기적으로 업무에 참여하고 만족할 수 있도록 돕는 '좋은 작업 (Good Work)' 환경을 조성하는 데 기여합니다.

5. 결론

이 연구는 인간 감독자가 AI 시스템과 효과적으로 협력하기 위해서는 단순한 기술적 설명이 아니라, 감독자의 심리적 동기와 작업의 의미를 고려한 인간 중심의 인터페이스 설계가 필수적임을 증명했습니다. 제안된 프레임워크는 AI 의 자율성이 증가하는 미래 사회에서 인간이 책임감 있고 동기 부여된 상태로 AI 를 감독할 수 있는 토대를 마련합니다.