The Perils of Agency: How Developers Perceive, Prioritize, and Address Risks in Agentic AI Products
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 비즈니스를 운영하는 데 도움을 줄 수 있는 매우 유능하고 매우 빠른 인턴을 채용한다고 상상해 보세요. 이 인턴은 단순히 수동적인 노동자가 아닙니다. 이들은 **에이전틱 AI(Agentic AI)**입니다. 이들은 스스로 결정을 내릴 수 있고, 당신의 도구들(예: 이메일, 데이터베이스, 캘린더 등)을 사용할 수 있으며, 당신이 매 단계마다 손을 잡아주지 않아도 복잡한 문제를 해결하는 방법을 찾아낼 수 있습니다.
정말 멋진 일처럼 들리죠? 하지만 당신이 묻고 있는 이 논문, *"에이전시의 위험성(The Perils of Agency)"*은 본질적으로 이 "슈퍼 인턴"들을 고용하고 관리하려는 35명의 빌더(개발자)들이 작성한 보고서입니다. 그들은 이 에이전트들이 강력하지만, 동시에 풀려난 개와 같다는 사실을 발견했습니다. 그들을 유용하게 만드는 바로 그 특성들(빠르게 달리고, 다람쥐를 쫓고, 문을 여는 능력)이 곧 그들을 위험하게 만드는 특성이기도 합니다.
다음은 이 논문이 발견한 내용을 일상적인 비유를 사용하여 쉽게 풀어낸 내용입니다.
1. 빌더들이 보는 리스크는 무엇인가? ("사각지대")
빌더들은 사무실 바로 눈앞에서 발생하는 리스크를 포착하는 데는 매우 능숙합니다.
- "사무실" 리스크: 그들은 인턴이 파일을 잘못 삭제하거나, 루프에 빠지거나, 실수로 기밀 이메일을 엉뚱한 사람에게 보내는 것을 걱정합니다. 이것은 마치 개가 쓰레기통을 넘어뜨리거나 신발을 씹어 놓는 것과 같습니다.
- "세상" 리스크 (사각지대): 하지만 그들은 거시적이고 장기적인 결과에 대해서는 훨씬 덜 걱정합니다. 그들은 인턴이 결국 모든 사람의 일자리를 뺏거나 대규모로 개인정보를 침해할지에 대해 고민하는 데 많은 시간을 쓰지 않습니다.
- 비유: 이는 부모가 아이가 오늘 꽃병을 깨뜨릴까 봐 걱정하면서도, 그 아이가 10년 뒤에 무모한 운전자가 될 것에 대해서는 걱정하지 않는 것과 같습니다. 당장의 소란은 보기 쉽지만, 먼 미래는 보기 어렵습니다.
2. 어떻게 해결책을 결정하는가? ("비즈니스 필터")
빌더들이 100개의 잠재적 문제 목록을 가지고 있을 때, 어떤 것을 먼저 해결할지 어떻게 결정할까요? 그들은 **"비즈니스 성공 필터"**를 사용합니다.
- 우선순위 높음: 그들은 제품을 느리게 만들거나, 시스템을 다운시키거나, 고객을 화나게 할 수 있는 것들을 먼저 고칩니다. 만약 인턴이 너무 느리면 비즈니스가 돈을 잃게 됩니다. 만 만약 인턴이 고객에게 거짓말을 하면 비즈니스는 신뢰를 잃게 됩니다.
- 우선순위 낮음: 그들은 비용이 많이 들거나 지금 당장 비즈니스에 해를 끼치지 않는 것으로 보이는 리스크는 종종 무시합니다.
- 비유: 당신이 레이싱 카를 운전하고 있다고 상상해 보세요. 당신은 경주를 멈추게 만드는 타이어 펑크를 즉시 고칠 것입니다. 하지만 자동차가 공기를 오염시키고 있거나 드라이버가 스트레스를 받고 있다는 사실은 무시할 수도 있는데, 왜냐하면 그런 것들이 오늘 경주에서 이기는 것을 막지는 않기 때문입니다. 빌더들은 "경주에서 이기는 것"(비즈니스 목표)을 "환경을 보호하는 것"(사회적 리스크)보다 우선시합니다.
3. 리스크를 막기 위해 어떻게 노력하는가? ("줄타기")
이 부분이 이 논문에서 가장 흥미로운 부분입니다. 빌더들에게는 큰 딜레마가 있습니다. "슈퍼 인턴"이 나쁜 짓을 하지 못하게 하려면, 그들은 인턴을 '슈퍼 인턴'으로 만드는 바로 그 요소들을 앗아가야만 합니다.
- 긴장 관계:
- 인턴이 파일을 삭제하는 것을 막으려면, 문을 잠가야 합니다 (자율성 제한).
- 인턴이 잘못된 도구를 사용하는 것을 막으려면, 열쇠를 뺏어야 합니다 (도구 사용 제한).
- 인턴이 이상한 결정을 내리는 것을 막으려면, 엄격한 스크립트를 주어야 합니다 (적응력 제한).
- 결과: 그들이 안전 가드레일을 추가할 때마다, 에이전트는 약간 덜 "에이전틱"해집니다 (덜 똑똑해지고, 덜 유용해지며, 덜 유연해집니다).
- 비유: 이는 새에게 안전하게 나는 법을 가르치려는 것과 같습니다. 새가 창문에 부딪히는 것을 막기 위해 무거운 새장을 씌우면, 새는 아예 날 수 없습니다. 그냥 날게 두면, 부딪힐 수도 있습니다. 빌더들은 새를 안전하게 지킬 수 있을 만큼 강하면서도, 날 수 있을 만큼 열려 있는 새장을 만드는 사이에서 줄타기를 하고 있습니다.
4. 왜 그렇게 어려운가? ("도구 상자의 문제")
빌더들은 마치 하키 스틱과 덕테이프를 가지고 고장 난 비행기를 고치려고 하는 것처럼 느낍니다.
- 좋은 도구의 부재: 이 에이전트들이 안전한지 테스트할 수 있는 성숙하고 신뢰할 수 있는 도구가 거의 없습니다. 안전 조치가 실제로 효과가 있는지 너무 늦기 전까지는 알기 어렵습니다.
- "배심원" 문제: 때때로 안전 조치 자체가 AI로 만들어집니다. 따라서, 만약 당신이 다른 AI가 거짓말을 하는지 확인하기 위해 AI를 사용했는데, 그 확인용 AI 또한 약간 혼란스러운 상태라면, 당신은 문제를 정말로 해결한 것이 아닙니다.
- 비유: 이는 나무를 사용하여 불에 타지 않는 집을 지으려는 것과 같습니다. 당신은 불을 막기 위해 계속해서 더 많은 나무(안전 제어 장치)를 추가하지만, 그 나무 자체가 가연성 물질입니다.
핵심 요약
이 논문은 이러한 AI 에이전트를 구축하는 데 있어 근본적인 갈등이 존재한다고 결론짓습니다.
- 목표: 우리는 AI가 똑똑하고, 독립적이며, 복잡한 과업을 수행할 수 있기를 원합니다 (에이전틱함).
- 문제: 더 독립적이고 똑똑해질수록, 더 위험해질 수 있습니다.
- 현실: 그것을 안전하게 만들기 위해서는, 그것을 덜 독립적이고 덜 똑똑하게 만들어야 합니다.
빌더들은 현재 그 중간에 갇혀 있습니다. 그들은 AI의 초능력에서 비롯되는 리스크를 관리하려 노력하고 있지만, 그들의 "슈퍼 인턴"을 다시 평범하고 지루한 로봇으로 되돌리지 않고는 그 일을 해낼 적절한 도구나 기업 규칙을 가지고 있지 않습니다. 그들은 본질적으로 안장도, 굴레도, 지도도 없이 야생마를 길들이려 하고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.