T3-DEF: A Socio-Technical Framework for Recursive Operational Vulnerability and Verification Diversity in AI-Assisted Systems

현대 사회에서 우리는 스스로 생각하고, 예측하며, 우리를 대신해 결정을 내릴 수 있는 기계들을 만들어 왔습니다. 대양을 항해하는 선박부터 복잡한 공급망을 관리하는 공장에 이르기까지, 인공지능은 점점 더 운전대를 잡고 있습니다. 수십 년 동안 안전 전문가들은 인간이 기계에 통제권을 넘겨줄 때 미묘한 위험이 발생한다는 점을 이해해 왔습니다. 즉, 책임자가 기계에 너무 의존한 나머지 주의 깊게 살피는 것을 멈출 수 있다는 것입니다. 사람들은 기계를 너무 신뢰한 나머지, 기계의 작업을 검증하거나 상황이 잘못되었을 때 어떻게 개입해야 하는지를 잊어버릴 수도 있습니다. 이것은 단순히 컴퓨터가 실수를 하는 문제가 아닙니다. 이는 인간과 기계가 너무 밀접하게 얽혀서 인간이 상황의 진실을 파악하는 능력을 상실하게 되는 시스템에 관한 문제입니다. 안전 연구자들은 사고가 단 하나의 부품이 고장 나서 발생하는 것이 아님을 오래전부터 알고 있었습니다. 대신, 사고는 팀이 일하는 방식에서 발생하는 느리고 서서한 변화로부터 나타나며, 판단의 작은 오류들이 쌓여 재앙이 불가피해지는 과정에서 발생합니다. 이제 질문은 우리의 가장 새롭고 발전된 AI 시스템들이 새로운 종류의 함정, 즉 우리를 안전하게 지키기 위해 설계된 도구들이 오히려 우리의 안전 유지 능력을 조용히 제거하는 함정을 만들고 있는가 하는 것입니다.

한국기술대학교의 연구원 이대룡은 이 구체적인 위험을 조사하기 위해 나섰습니다. 이 연구원은 단 하나의 사고나 특정 유형의 소프트웨어를 조사한 것이 아닙니다. 대신, 연구원은 170건의 실제 운영 실패 사례라는 방대한 자료를 검토했습니다. 이 그룹에는 해상에서의 선박 사고 100건과 산업 자동화, 운송, 물류 등 다양한 분야의 사고 70건이 포함되었습니다. 목표는 기술이 고장 났기 때문이 아니라, 인간과 기계가 협력하는 방식이 위험할 정도로 취약해졌기 때문에 왜 이러한 시스템들이 실패했는지에 대한 패턴을 찾는 것이었습니다. 이 연구는 이러한 실패를 바라보는 새로운 방식인 T3-DEF 프레임워크를 제안합니다. 이 접근 방식은 시스템이 자동화에 너무 의존하게 되면 연쇄 반응이 일어난다고 설명합니다. 첫째, 인간 운영자의 세계관이 왜곡됩니다. 왜냐하면 그들은 컴퓨터가 보여주기로 선택한 것만을 보고 있기 때문입니다. 둘째, 기계가 내린 결정이 증폭됩니다. 즉, 컴퓨터의 논리적 오류가 조직 전체에 의해 중대한 사실로 받아들여집니다. 마지막으로, 이러한 결함 있는 아이디어들이 회사의 규칙과 관행 속에 박혀버려, 나중에 이를 의심하는 것을 거의 불가능하게 만듭니다.

이 연구의 핵심 발견은 두 가지 요소 사이의 관계에 있습니다: 시스템이 자동화된 결정에 얼마나 의존하는가, 그리고 그 결정이 옳은지 확인하기 위한 방법이 얼마나 다양한가 하는 점입니다. 연구원은 첫 번째 요소를 '자동화 밀도(automation density)'라고 부르는데, 이는 단순히 기계가 얼마나 많은 생각과 결정을 수행하는지를 측정하는 척도입니다. 두 번째 요인은 '검증 다양성(verification diversity)'으로, 이는 인간과 조직이 기계의 작업을 재확인하기 위해 사용하는 서로 다르고 독립적인 방법의 수를 의미합니다. 건강한 시스템에서는 동일한 문제를 바라보는 여러 개의 서로 다른 눈이 존재하며, 놓치는 것이 없도록 다양한 방법을 사용합니다. 이 연구원은 자동화 밀도가 높아질수록 검증 다양성은 감소하는 경외 관계를 발견했습니다. 기계가 더 많이 장악할수록 독립적인 점검 방식은 줄어듭니다. 이는 모든 사람이 같은 화면을 보고, 같은 알고리즘을 신뢰하며, 같은 경고 신호를 놓치게 되는 상황을 만듭니다.

연구는 이 관계가 특히 위험해지는 특정 지점을 식와했습니다. 자동화에 대한 의존도가 특정 수준, 즉 기계가 의사결정의 약 58%를 처리하는 지점에 도달하면, 시스템은 급격한 쇠퇴 상태로 접어드는 것으로 보입니다. 이 지점 이전에는 자동화를 더 추가하더라도 오류를 잡아낼 수 있는 충분한 인간의 감독이 남아 있을 수 있습니다. 하지만 시스템이 이 임계치를 넘어서면, 개입 능력은 둔화되고, 감독은 파편화되며, 하나의 실수가 또 다른 실수로 이어지고 결국 더 큰 재앙으로 이어지는 재귀적 실패(recursive failure)의 위험이 급증합니다. 이것이 모든 기계와 모든 상황에 적용되는 엄격한 규칙은 아니라는 점에 유의해야 합니다. 오히려 이는 다양한 유형의 사고에서 관찰된 강력한 패턴입니다. 데이터에 따르면, 기계가 대부분의 일을 수행하고 인간이 다양한 방식으로 작업을 점검하는 것을 멈추면, 시스템은 상황이 잘못되었을 때 적응하는 능력을 상실합니다.

이 발견은 시스템을 더 자동화하는 것이 자동으로 더 안전하게 만든다는 일반적인 믿음에 도전합니다. 이 연구원의 분석은 안전이 기계의 완벽한 수행 능력에서 오는 것이 아니라, 기계가 틀렸을 때 그것에 이의를 제기할 수 있는 인간의 능력에서 온다는 것을 보여줍니다. 연구된 사고들에서 기계는 종종 극적이고 명백한 방식으로 실패하지 않았습니다. 대신, 기계는 겉보기에는 정확해 보이지만 약간 어긋난 정보를 제공했고, 인간은 이를 검증할 독립적인 방법을 잃었기 때문에 그 오류를 수용했습니다. 그러자 조직은 이 오류를 바탕으로 자신들의 관행을 구축했고, 이는 나중에 이를 바로잡는 것을 더욱 어렵게 만들었습니다. 연구원은 해결책이 AI 사용을 중단하는 것이 아니라, 우리가 AI를 더 많이 사용할수록 '검증 다양성'을 적극적으로 보존하는 것이라고 주장합니다. 이는 기계가 하는 일을 검증하기 위한 여러 개의 독립적인 방법을 유지하여, 어떤 단일 알고리즘도 서로 다른 출처로부터의 두 번째, 세 번째, 혹은 네 번째 의견 없이 최종 결정권을 갖지 못하도록 하는 것을 의미합니다.

연구는 이러한 첨단 환경에서의 회복 탄력성이 균형을 유지하는 데 달려 있다고 결론짓습니다. 우리는 단순히 통제권을 넘겨주고 기계가 모든 것을 처리할 것이라고 가정할 수 없습니다. 대신, 기계가 힘든 일을 하고 있더라도 인간이 세상을 명확하게 볼 수 있는 능력을 유지할 수 있도록 시스템을 설계해야 합니다. 이는 작업 내용을 확인하기 위한 다양한 경로를 열어두고, 단일 그룹이나 소프트웨어가 도전받지 않은 채 전적인 권한을 갖지 않도록 보장하는 것을 포함합니다. 이 패턴을 이해함으로써 엔지니어와 관리자는 효율성이 취약성으로 이어지는 함정을 피할 수 있습니다. 연구는 고도로 자동화된 시스템이 가장 위험한 순간은 기술이 실패할 때가 아니라, 그것에 의문을 제기하는 인간의 능력이 조용히 사라질 때라고 제안합니다. 이 연구에 따른 앞으로의 길은, 기계가 강력한 파트너가 되되 결코 방 안의 유일한 목소리가 되지 않는 시스템을 구축하는 것입니다.