Using profiles of cognitive capability to assess AI suitability for workplace tasks

현대 직장에서 조용하지만 긴박한 질문 하나가 조직이 미래를 생각하는 방식을 재편하고 있습니다. 어떤 직무를 인공지능에게 안전하게 넘겨줄 수 있으며, 어떤 직무를 반드시 인간의 손에 남겨두어야 하는가 하는 문제입니다. 수년 동안 이 질문에 대한 답은 모호했습니다. 기업들은 흔-히 기계의 지능을 판단하기 위해 학교 교장이 학생의 일 년 전체를 단 한 번의 기말고사 성적으로 판단하는 것과 유사하게, 광범위하고 총체적인 테스트 점수에 의존해 왔습니다. 이러한 점수들은 일반적인 성능에 대한 스냅샷을 제공하지만, 왜 시스템이 성공하거나 실패하는지, 혹은 시스템이 현실 세계의 업무가 가진 무질서하고 예측 불가능한 복잡성을 어떻게 다룰 것인지는 거의 설명해주지 못합니다. 통제된 테스트에서 기계가 실패할 때 그것은 종종 미스터리이지만, 실제 사무실이나 공장에서 실패할 때 그 결과는 막대한 비용과 위험을 초래할 수 있습니다. 핵심적인 과제는 인공지능이 인간처럼 사고하지 않는다는 점입니다. 인공지능의 강점과 약점은 들쭉날쭉하고 불균형합니다. 즉, 방대한 지식 도서관을 보유하고 있으면서도 사건의 순서를 계획하는 단순한 논리에는 어려움을 겪을 수 있다는 것입니다. 이러한 시스템을 안전하게 배치하기 위해 리더들에게는 특정 직무의 구체적인 인지적 요구 사항을 기계의 특정 인지 능력과 대조하여 매핑할 수 있는 방법, 즉 막연한 추측을 넘어 명확하고 증거에 기반한 평가 방식이 필요합니다.

케임브리지 대학교와 다른 기관의 연구진이 발표한 새로운 기술 보고서는 이 문제에 대한 해결책을 제시합니다. 연구팀은 기계가 특정 과업을 수행할 수 있는지 묻는 대신, 해당 과업에 필요한 근본적인 정신적 능력을 프로파일링하고 이를 기계의 능력과 직접 비교하는 파이프라인을 개발했습니다. 그들은 먼저 기억력, 추론, 계획, 사회적 이해와 같은 18가지 핵심 인지 기술로 복잡한 인공지능 테스트의 세계를 세분화하는 것으로 시작했습니다. 그들은 방대한 기존 테스트 문항 모음을 사용하여 각 문항이 정확히 어떤 정신적 기술을 요구하는지, 그리고 그 난이도가 어느 정도인지를 주석으로 달았습니다. 이를 통해 상세한 '요구 맵(demand map)'이 생성되었습니다. 그런 다음 그들은 단순히 최종 점수를 보는 것이 아니라, 다양한 유형의 정신적 도전 과제 전반에 걸쳐 어떻게 수행했는지를 분석함으로써 여섯 가지 서로 다른 AI 시스템의 진정한 인지 프로필을 추론했습니다. 그 결과, 각 기계의 능력이 어디에서 강하고 어디에서 취약한지를 보여주는 프로필이 도출되었으며, 시스템들이 전반적인 성능은 다르더라도 강점과 약점의 형태는 놀라울 정도로 유사하다는 사실이 밝혀졌습니다.

이 프로파일들을 실제 의사 결정에 유용하게 만들기 위해, 연구진은 인간 노동자들이 실제로 업무를 수행하는 데 무엇이 필요한지 알아야 했습니다. 그들은 창고 물류와 제조부터 고객 서비스 및 데이터 분석에 이르기까지 6가지 서로 다른 직업 분야의 직원 410명을 대상으로 설문 조사를 실시했습니다. 연구진은 이들에게 기계가 얼마나 잘할 것인지 예측하도록 요청하는 대신, 일상적인 업무를 수행하는 데 가장 중요한 정신적 기술이 무엇인지 식별하도록 요청했습니다. 직원들은 자신의 역할에 대한 문제 해결, 계획, 의사소통과 같은 기술의 중요도를 순위 매겼습니다. 이 과정은 거의 모든 직업에 공통되는 '인지적 핵심(cognitive core)'을 드러냈습니다. 즉, 기억력, 언어 능력, 그리고 앞을 내다보고 계획하는 능력에 대한 높은 의존성을 확인했습니다. 서로 다른 직업마다 공간 추론(창고 작업자)이나 사회적 이해(영업직)와 같은 부차적인 기술을 강조하는 차이는 있었지만, 업무에 필요한 근본적인 정신적 기제는 놀라울 정도로 일관되었습니다.

연구진이 AI 프로필을 직무 요구 사항 위에 겹쳐 놓았을 때, 적합성에 대한 명확한 그림이 나타났습니다. 연구 결과, 가장 발전된 AI 시스템은 현재의 기계들이 뛰어난 역량을 보이는 영역인 언어, 사실적 지식, 사회적 상호작용에 크게 의존하는 과업에 가장 적합한 것으로 나타났습니다. 그러나 복잡한 계획, 물리적 대상에 대한 추론, 또는 역동적인 환경에서의 인과관계 이해를 요구하는 과업에서는 지속적으로 어려움을 겪었습니다. 결정적으로, 연구진은 다양한 AI 모델 간의 차이가 서로 다른 인지 기술 유형 간의 차이보다 훨씬 작다는 것을 발견했습니다. 다시 말해, 하나의 AI 시스템이 다른 시스템과 비교하여 전체적인 '성격' 면에서 근본적으로 다른 것이 아니라, 모든 시스템이 특정 영역에서는 강하고 다른 영역에서는 약하다는 것이었습니다. 가장 유능한 시스템들도 동료 모델들에 비해 계획 및 제어 능력에서 완만한 개선만을 보여주었는데, 이는 기계가 정보를 정리하는 능력은 향로지고 있지만, 인간이 당연하게 여기는 유연하고 목표 지향적인 행동을 숙달하는 데는 여전히 멀리 있음을 시사합니다.

이 프레임워크는 특정 직무에 대한 '적합도 점수(suitability score)'를 계산하는 방법도 제공하여, 조직이 어떤 과업이 자동화될 준비가 되었고 어떤 것이 그렇지 않은지를 확인할 수 있게 해줍니다. 기계의 역량 프로필과 비즈니스에 대한 과업의 중요성을 결합함으로써, 시스템은 AI가 효과적이면서도 가치 있게 쓰일 수 있는 우선순위가 높은 기회들을 강조할 수 있습니다. 예를 들어, 데이터 분석 및 행정 조사와 같은 과업은 자동화의 강력한 후보로 떠올랐으나, 깊은 대인 관계 형성이나 복잡한 물리적 추론을 요구하는 역할은 여전히 확고하게 인간의 영역으로 남았습니다. 연구진은 이 접근 방식을 단일 기업에 테스트하여, 동일한 방법이 어떻게 특정 조직의 고유한 요구에 맞춰 조정되어 광범위한 산업 트렌드에서 개별 직원의 구체적인 직무로 전환될 수 있는지를 보여주었습니다.

이 연구는 단 하나의 높은 테스트 점수가 직장에서 기계의 신뢰성을 보장하기에 충분하다는 생각에 명시적으로 반론을 제기합니다. 연구는 높은 평균 점수를 가진 시스템이라 할지라도 특정 직무에 필요한 숨겨진 특정 기술이 부족하다면 치명적으로 실패할 수 있음을 입증합니다. 또한 연구진은 자신들의 발견이 현재 세대의 AI 모델과 현재 사용 가능한 특정 테스트를 바탕으로 하고 있다는 점을 경고합니다. 새로운 기계가 만들어지고 새로운 테스트가 개발됨에 따라 프로필은 업데이트되어야 합니다. 그러나 방법론 자체는 견고합니다. 기계가 무엇을 할 수 있는지에 대한 측정과 직무가 무엇을 요구하는지에 대한 측정을 분리함으로써, 이 프레임워크는 업무의 미래를 논의하기 위한 안정적이고 과학적인 언어를 제공합니다. 이는 나아갈 길이 모든 것을 할 수 있는 기계를 찾는 것이 아니라, 현재 우리가 가진 도구의 특정한 불균형적 능력을 인간 노동의 특정한 불균형적 요구에 정교하게 맞추어, 자동화가 진정으로 성공할 수 있는 곳에 배치하는 것임을 시사합니다.