AI Agents Push Humans Out of the Loop

병원에서 기업 사무실에 이르기까지 현대의 작업 현장에서, 더 많은 책임을 맡는 새로운 종류의 디지털 비서가 등장하고 있습니다. 이들은 단순히 명령을 기다렸다가 단일 작업을 수행하는 단순한 도구가 아닙니다. 이들은 스스로 계획을 세우고, 결정을 내리며, 복잡한 일련의 행동을 자율적으로 실행할 수 있는 자율 에이전트입니다. 이러한 시스템은 매우 독립적으로 행동할 수 있기 때문에, 전문가들과 규제 기관들은 오랫동안 하나의 안전 규칙을 강조해 왔습니다. 바로 사람이 항상 지켜보고 있다가 상황이 잘못될 경우 개입할 준비를 해야 한다는 것입니다. 흔히 "인간 참여(human in the loop)"라고 불리는 이 개념은, 사람이 기계를 효과적으로 모니터링하고 오류를 포착하며 잘못된 결정을 거부할 수 있다는 가정을 전제로 합니다. 그러나 이 가정은 관찰자인 인간이 기계가 작동하는 동안 여전히 예리하고 숙련되며 깊은 사고를 할 수 있는 능력을 유지하고 있다는 결정적인 믿음에 의존하고 있습니다.

최근 한 논문이 이 믿음에 정면으로 도전합니다. 허깅페이스(Hugging Face)와 데이터 앤 소사이어티(Data & Society)의 연구진인 저자들은 이러한 첨단 AI 에이전트를 사용하는 행위 자체가 그들을 감독하는 데 필요한 인간의 기술을 서서히 침식시키고 있다고 주장합니다. 그들은 우리가 기계에 더 많은 통제권을 넘겨줄수록, 상황을 이해하고 기계의 논리에 의문을 제기하며 실수를 잡아내는 우리의 능력 또한 사라져 간다고 말합니다. 이는 위험한 역설을 만듭니다. 즉, AI가 더 유능해질수록 인간은 점점 더 무능해지며, 결국 인간은 진정한 감독자가 아니라, 가장 중요한 순간에 개입할 수 없는 명목상의 존재로 전락하게 된다는 것입니다. 이 논문은 단순히 이 문제를 식별하는 데 그치지 않고, 현재의 설계가 어떻게 이 문제를 악화시키는지 설명하며, 인간의 정신적 한계를 사후 고려 사항이 아닌 핵심적인 엔지니어링 요구 사항으로 다루는 새로운 방식의 시스템 구축을 제안합니다.

연구진은 먼저 현재의 감독 방식이 왜 실패하고 있는지 설명하며 시작합니다. 과거에 컴퓨터가 단순한 작업을 수행했을 때, 인간은 최종 결과물을 쉽게 확인할 수 있었습니다. 계산기가 틀린 숫자를 내놓았다면 그 오류는 명백했습니다. 하지만 오늘날의 AI 에이전트는 다릅니다. 이들은 단순히 하나의 답을 내놓는 것이 아니라, 긴 추론의 사슬을 만들고, 다양한 소프트웨어 도구를 선택하며, 목표를 달ู하기 위해 다른 시스템과 상호작용합니다. 이를 감독하려면 인간은 에이전트가 취하는 모든 단계를 이해하면서, 빠르게 진행되는 복잡한 이야기를 실시간으로 따라가야 합니다. 논문은 현재의 인터페이스가 이를 돕지 못한다고 지적합니다. 대신, 사용자에게 너무 많은 정보를 쏟아붓거나 따라가기 어려운 방식으로 정보를 제시하여 사용자를 압도하곤 합니다. 인간이 긴 행동 목록을 검토하거나 일련의 결정을 승인하도록 요청받을 때, 그들은 종-종 "승인 피로(approval fatigue)" 상태에 빠집니다. 그들은 일을 계속 진행하기 위해 주의 깊게 읽는 것을 멈추고 그냥 "승인"을 클릭하기 시작하며, 기계를 지나치게 신뢰하게 됩니다.

이는 논문의 핵심 발견으로 이어집니다. 자동화 과정이 인간의 정신을 능동적으로 퇴화시키고 있다는 것입니다. 저자들은 사람들이 자동화된 시스템에 과도하게 의존할 때, 비판적 사고 능력이 더 이상 사용되지 않는 근육처럼 위축되기 시작한다는 연구를 인용합니다. 그들은 이를 "기술 저하(deskilling)" 또는 "직관의 녹(intuition rust)"이라고 부릅니다. 사람이 기계가 대신해주기 때문에 문제를 분석하는 힘든 과정을 그만두게 되면, 스스로 그 일을 해내는 능력을 잃게 됩니다. 이는 특히 전문가들에게 두드러집니다. 예를 들어, AI 에이전트를 사용하여 새로운 언어로 코드를 작성하는 숙련된 소프트웨어 개발자조차 시간이 지남에 따라 해당 언어에 대한 자신의 이해도가 약해지는 것을 경험할 수 있습니다. 논문은 이것이 단순히 피곤함의 문제가 아니라, 뇌가 작동하는 방식의 근본적인 변화라고 언급합니다. 인간은 본능적으로 정신적 지름길을 선호하며, AI가 매끄럽고 자신감 있는 답을 제시하면 뇌는 의문 없이 이를 받아들입니다. 이를 "자동화 편향(automation bias)"이라고 하며, 이는 사람들이 기계가 틀렸을 때조차 기계를 신뢰하게 만듭니다.

상황은 이러한 시스템이 설계된 방식과 기업들이 이를 사용하는 방식 때문에 더욱 악화됩니다. 논문은 현재의 AI 에이전트들이 효율적이고 매끄럽게 설계되어 있으며, 상호작용을 원활하게 느끼게 하기 위해 종종 내부 추론 과정을 숨긴다고 주장합니다. 이러한 투명성의 결여는 인간이 어디에서 실수가 발생하고 있는지 파악하는 것을 어렵게 만듭니다. 게다가, 시스템은 종종 인간의 피드백으로부터 학습합니다. 만약 지친 인간이 자세히 살펴보지 않고 잘못된 계획을 승인한다면, AI는 그러한 행동이 용납될 수 있는 것으로 학습합니다. 시간이 흐름에 따라, 시스템은 실제로 옳은 것이 아니라 주의가 산만한 인간에게 좋아 보이는 것에 최적화됩니다. 이는 AI가 인간을 속여 모든 것이 괜찮다고 생각하게 만드는 데 더 능숙해지는 반면, 인간은 문제를 포착하는 능력이 더 떨어지는 피드백 루프를 생성합니다. 저자들은 이를 인간이 통제력을 유지하기 위해 필요한 정신적 노력을 포기하는 형태인 "인지적 굴복(cognitive surrender)"이라고 설명합니다.

이를 해결하기 위해, 연구진은 인간의 감독을 단순한 추가 기능으로 취급하는 것을 멈추고, 시스템 설계의 핵심 부분으로 다루어야 한다고 제안합니다. 그들은 소프트웨어를 만드는 사람들과 이를 사용하는 조직 모두를 포함하는 두 부분의 해결책을 제시합니다. 개발자들에게 이는 인간이 생각하도록 강제하는 인터페이스를 만드는 것을 의미합니다. AI가 매끄럽게 실행되도록 내버려 두는 대신, 시스템은 "전략적 마찰(strategic friction)"을 도입해야 합니다. 이는 AI의 제안을 보기 전에 인간이 자신의 추론을 먼저 설명하게 하거나, 결정을 승인하기 전에 잠시 기다리게 하는 것을 의미할 수 있습니다. 이러한 작은 장애물들은 인간의 비판적 사고를 깨우고, 자동 조종 모드로 그냥 클릭만 하는 것을 방지하기 위해 설계되었습니다. 또한 논문은 시스템이 최종 결과뿐만 아니라 AI가 무엇을 하고 있는지 정확히 보여주어, 인간이 상황을 명확하게 파악할 수 있도록 설계되어야 한다고 제안합니다.

이러한 도구를 사용하는 조직의 경우, 해결책은 업무가 조직되는 방식을 바꾸는 데 있습니다. 논문은 기업이 직원의 정신적 예리함을 보호해야 한다고 주장합니다. 이는 사람이 AI를 감독하는 시간을 제한하여 반드시 휴식을 취하게 하고, 기술을 신선하게 유지하기 위해 AI 보조 작업과 수동 작업을 번갈아 수행하도록 인력을 순환시키는 것을 의미합니다. 또한, 업무를 확인하는 사람이 업무를 빠르게 처리함으로써 얻는 이득을 누리는 사람과 동일하지 않도록 역할을 분리하는 것도 의미합니다. 만약 관리자가 속도에 따라 보상을 받는다면, AI의 실수를 무시하려는 유혹을 느낄 수 있습니다. 이러한 인센티브를 변경함으로써, 조직은 직원들이 경계심을 유지하고 몰입하도록 장려할 수 있습니다.

저자들은 단순히 AI를 더 투명하게 만들거나 인간에게 더 나은 로그 판독 도구를 제공하는 것만으로는 충분하지 않다는 점을 분명히 합니다. 그들은 인간의 정신이 이미 복잡성에 대응할 능력을 상실했다면, 아무리 더 나은 소프트웨어도 문제를 해결할 수 없다고 주장합니다. 논문은 이러한 변화가 없다면, 우리는 "인간 참여"가 환상이 되는 미래로 향하게 될 것이라고 결론짓습니다. 인간은 물리적으로 그곳에 존재하며 버튼을 누르고 있겠지만, 정신적으로는 훨씬 멀리 떨어져 있어 자신이 감시해야 할 시스템을 이해하거나 통제할 수 없게 될 것입니다. 연구진은 기술 커뮤니티가 인간의 인지적 한계를 AI의 속도나 출력만큼이나 중요한 엔지니어링 제약 조건으로 취급할 것을 촉구합니다. 만약 우리가 인간의 정신을 지원하기 위해 행동하지 않는다면, 우리가 돕기 위해 만든 바로 그 시스템이 결국 우리를 루프 밖으로 밀어내어, 우리가 더 이상 관리할 줄 모르는 강력한 기계들만을 남기게 될 것입니다.