매우 똑똑하고 매우 빠른 로봇 비서를 고용하여 사무실을 운영한다고 상상해 보세요. 이 로봇은 문서를 읽고, 이메일을 작성하며, 심지어 공식 기록을 업데이트할 수도 있습니다. 하지만 그 힘이 너무 강력하기 때문에 두 가지 큰 걱정이 생깁니다:

1. 얼마나 스스로 할 수 있나요? (실수를 하면 멈출 수 있나요?)
2. 실제로 얼마나 많은 권한을 가지고 있나요? (단순히 파일을 읽을 수 있을까요, 아니면 전체 데이터베이스를 삭제할 수 있을까요?)

사핀과 발타의 논문은 이 두 가지 걱정을 따로따로 생각해서는 안 된다고 주장합니다. 이 둘은 요요처럼 서로 연결되어 있습니다. 로봇이 완전히 혼자 일하게 허용한다면 (높은 "자율성"), 로봇이 다룰 수 있는 도구를 매우 신중하게 제한해야 합니다 (낮은 "주도권"). 반대로 위험한 도구에 접근하게 한다면 (높은 "주도권"), 인간이 핸들을 잡고 있어야 합니다 (낮은 "자율성").

여러분에게 일상적인 비유를 사용하여 그들의 해결책을 간단히 설명해 드리겠습니다.

1. 두 개의 레버: "자유" 대 "권한"

저자들은 디자이너들이 로봇이 어디에 적합한지 파악할 수 있도록 두 개의 축으로 구성된 지도를 만들었습니다.

• "자유" 레버 (자율성): 이는 인간 상사가 얼마나 관여하는지를 측정합니다.
  • 레벨 1: 인간이 명령을 내리면 로봇은 아주 작은 일 하나를 수행합니다.
  • 레벨 5: 로봇이 모든 것을 주도하고 인간은 sidelines 에서 지켜보기만 합니다.
• "권한" 레버 (주도권): 이는 로봇이 실제로 무엇을 만지거나 변경할 수 있는지를 측정합니다.
  • 레벨 1: 로봇은 주어진 내용을 바탕으로 생각만 하고 초안을 작성할 수 있습니다.
  • 레벨 5: 로봇은 파일을 영구적으로 삭제하거나, 공식적인 결재를 내보내거나, 법적 기록을 변경할 수 있습니다.

큰 규칙: 로봇이 100% 자유롭고 동시에 100% 강력한 권한을 가질 수는 없습니다. 로봇이 마음대로 활동하게 한다면 안전한 작업으로만 제한해야 합니다. 왕국의 열쇠를 쥐어준다면 모든 움직임을 인간이 승인해야 합니다.

2. 여섯 가지 "안전 장치" (아키텍처 전술)

유용하면서도 안전한 로봇을 어떻게 구축할까요? 논문은 로봇의 설정을 조정하는 데 사용할 수 있는 여섯 가지 구체적인 "장치"나 트릭을 제안합니다.

자유를 통제하기 위해 (자율성 전술):

• "적색 신호" (체크포인트): 고속도로의 정지 표지판을 상상해 보세요. 로봇이 얼마나 빠르게 운전하든 상관없이, 인간이 "가자"라고 말할 때까지 이 특정 지점에서 반드시 멈춰야 합니다. 이는 로봇이 얼마나 잘 수행하든 상관없이 작업이 항상 위험할 때 사용됩니다.
• "비상 정지 버튼" (승급): 이는 자동차의 자동 긴급 제동과 같습니다. 로봇은 스스로 운전하지만, 혼란을 겪거나 이해하지 못하는 것을 발견하면 비상 정지 버튼을 눌러 "막혔습니다, 인간이 대신하세요"라고 말합니다. 이는 로봇이 보통은 괜찮지만 가끔 trouble 에 빠질 때 사용됩니다.
• "전문가 팀" (다중 에이전트 위임): 모든 일을 한 로봇이 하는 대신, "관리자" 로봇이 큰 작업을 작은 조각으로 나누어 다른 전문 로봇들에게 넘깁니다. 작은 로봇 하나가 실수하면 전체 프로젝트를 망친 주요 로봇이 실수하는 것보다 수정하기 쉽습니다.

권한을 통제하기 위해 (주도권 전술):

• "도구상자" (도구 제공): 이는 단순히 로봇에게 어떤 도구를 handing 하는지 결정하는 것입니다. 로봇이 이메일을 읽기만 필요하다면 망치를 주지 않습니다. 이메일을 작성해야 한다면 펜을 줍니다.
• "울타리" (도구 울타리): 로봇에게 망치를 주되, 특정 못만 칠 수 있도록 우리 안에 넣어두는 것을 상상해 보세요. 로봇은 도구를 가지고 있지만, 잘못된 것을 부술 수 없도록 울타리로 막아둡니다. 로봇은 도구를 사용할 수 있지만 엄격한 제한 내에서만 사용할 수 있습니다.
• "초안 모드" (작성 스테이징): 이는 "보내기"를 누르기 전에 편지를 "초안"으로 작성하는 것과 같습니다. 로봇은 최종 문서를 작성하지만 대기실에 둡니다. 인간이 "승인"을 클릭해야 공식화됩니다. 로봇이 실수를 했다면 초안만 삭제하면 됩니다. 아직 영구적인 일은 일어나지 않았습니다.

3. 실제 사례

논문은 두 가지 실제 시나리오에서 이러한 아이디어를 테스트했습니다:

• 시나리오 A: 우편 분류 (문서 분류)

  • 목표: 수천 개의 이메일과 파일을 자동으로 분류합니다.
  • 설정: 로봇에게 이메일을 보낼 권한 (높은 권한) 을 주었지만, 특정 사람만 보낼 수 있도록 "울타리"를 쳤습니다. 또한 "비상 정지 버튼" (승급) 을 사용했습니다. 로봇이 누구에게 이메일을 보내야 할지 확신이 없으면 멈추고 인간에게 물어봅니다.
  • 결과: 로봇은 대부분 혼자 일할 수 있었지만 안전했습니다.

• 시나리오 B: 사람과 보조금 매칭 (기금 프로그램 매칭)

  • 목표: 사람들이 자격이 되는 정부 보조금을 찾도록 돕습니다.
  • 설정: 로봇은 자격 요건을 확인하는 규칙을 작성해야 했습니다. 나쁜 규칙은 사람들에게 해를 끼칠 수 있으므로 위험합니다. 따라서 "적색 신호" (체크포인트) 를 사용했습니다. 로봇이 결과를 사용자에게 보여주기 전에 인간이 먼저 프로필을 검토해야 했습니다. 또한 로봇이 실수로 정부의 주요 데이터베이스를 변경하지 못하도록 "울타리"를 사용했습니다.
  • 결과: 로봇은 사람들이 보조금을 찾도록 도왔지만, 최종 결정은 인간이 통제했습니다.

4. "천장" (배포 매개변수)

마지막으로, 논문은 완벽한 안전 장치가 있더라도 로봇의 능력을 제한하는 다른 요소들이 있다고 지적합니다. 이것들을 프로젝트의 "천장"으로 생각하세요:

• 로봇의 뇌 (모델 능력): 로봇이 충분히 똑똑하지 않다면, 울타리를 얼마나 많이 쌓아도 실수를 하게 됩니다.
• 로봇의 기억 (에이전트 아키텍처): 로봇이 5 분 전에 무엇을 했는지 잊어버린다면 긴 작업을 처리할 수 없습니다.
• 도구의 품질 (도구 충실도): 로봇의 "지도"(데이터베이스) 가 오래되었거나 잘못되었다면 로봇은 길을 잃습니다.
• 병목 현상: 로봇이 빠르더라도 모든 파일을 나중에 인간이 수동으로 확인해야 한다면 로봇은 실제로 속도를 높이는 것이 아닙니다.
• 테스트 (평가): 로봇이 실제로 잘하고 있는지 측정할 방법이 필요합니다. 측정하지 않으면 안전하지 않은지 알 수 없습니다.

결론

이 논문은 정부나 법률과 같이 엄격하고 규제가 있는 환경에서 작동하는 AI 를 구축하기 위한 가이드북입니다. 이 논문은 말합니다: 단순히 추측하지 마십시오. 이 지도를 사용하여 AI 에게 얼마나 많은 자유를 주고 얼마나 많은 권한을 줄지 결정하십시오. 그런 다음 여섯 가지 안전 장치를 사용하여 두 가지를 균형 있게 조정하십시오. 이렇게 하면 AI 의 속도를 얻으면서도 재앙을 초래할 위험은 피할 수 있습니다.