보이지 않는 성적표: 좋은 AI에 배지가 필요한 이유

당신이 수많은 로봇을 팔고 있는 거대하고 미래적인 시장에 걸어 들어간다고 상상해 보세요. 어떤 로봇은 최고의 안전 기능, 가장 공정한 규칙, 그리고 가장 세심한 공학 기술로 만들어졌습니다. 반면 다른 로봇들은 빠르게, 지름길을 택해 만들었으며 아마도 몇 가지 숨겨진 결함이 있을지도 모릅니다. 문제는 모든 상인이 똑같이 빛나는 "우리는 책임감이 있습니다!"라는 배지를 달고 있다는 점입니다. 겉모습만 봐서는 그 차이를 구별할 수 없습니다. 이것이 바로 오늘날의 인공지능(AI) 세계입니다.

컴퓨터 과학의 세계에는 **책임 있는 AI(Responsible AI)**와 신뢰할 수 있는 AI(Trustworthy AI) 사이에 큰 차이가 있습니다. 책임 있는 AI를 주방에서 레시피를 완벽하게 따르는 요리사라고 생각해 보세요. 그들은 재료를 정확히 측정하고, 손을 씻고, 모든 안전 수칙을 준가합니다. 그것은 훌륭하지만, 그 레시피가 케이크를 맛있게 만들거나 당신을 아프게 하지 않을 것이라는 점을 보장하지는 않습니다. 신뢰할 수 있는 AI는 실제 결과물입니다. 즉, 맛있고 안전하며 당신을 행복하게 만드는 케이크입니다. 현재 우리는 레시피를 잘 따르는 많은 요리사를 보유하고 있지만, 고객이 어떤 요리사가 실제로 맛있는 케이크를 구워내는지 알 수 있는 방법은 없습니다. 우리는 "최선을 다했다"를 "실제로 해냈다"로 바꾸는 시스템이 필요합니다. 이것이 전 세계 대학과 연구소의 전문가 그룹이 해결하려고 노력 중인 퍼즐입니다.

거대한 AI 신뢰 격차

University College London, Columbia University, University of Cambridge와 같은 기관의 연구진이 작성한 **디지털 트러스트 카운슬(Digital Trust Council)**의 새로운 논문은 우리에게 거대한 "신뢰 격차(Trust Gap)"가 존재한다고 주장합니다. 기업들이 안전하고 공정한 AI를 구축하기 위해 수백만 달러를 쓰고 있음에도 불구하고, 시장은 그들에게 어떻게 보상해야 할지 모르고 있습니다. 이는 마치 모두가 같은 거리를 달리지만, 결승선이 보이지 않는 경주와 같습니다.

저자들은 현재의 시스템이 세 가지 주요한 "구조적 격차" 때문에 고장 났다고 주장합니다.

1. "레몬" 문제: 좋은 것과 나쁜 것을 구별할 수 없음
중고차를 산다고 상상해 보세요. 판매자가 "이 차는 안전합니다"라고 말하지만, 당신이 브레이크나 엔진을 확인할 방법이 없다면, 당신은 그냥 가장 저렴한 차를 살지도 모릅니다. AI 세계에서도, 막대한 비용을 들여 안전 팀과 윤리 위원회를 운영하는 기업은 고객에게 그저 "우리 말을 믿으세요"라고 말하는 기업과 똑같아 보입니다. 구매자(투자자나 일반 사람들)가 그 차이를 구별할 수 없기 때문에, 그들은 안전한 제품에 더 많은 비용을 지불하지 않습니다. 이는 안전한 제품이 밀려나게 만드는 "레몬 시장(lemon market)"을 만듭니다. 즉, 자신이 좋다는 것을 증명할 수 없기에 좋은 제품이 도태되는 것입니다.

2. 엔진이 아닌 주행을 테스트하라
현재 AI를 테스트할 때, 우리는 주로 차고 안에서 "엔진"을 살펴봅니다. 우리는 AI가 퀴즈를 통과하는지 보기 위해 일련의 컴퓨터 테스트를 실행합니다. 하지만 AI는 단순한 두뇌가 아니라, 현실 세계의 사람들과 소통하는 전체 시스템입니다. 논문은 우리가 모델을 고립된 상태에서 테스트하고 있다고 주장합니다. 이는 마치 자동차가 시동이 걸리는지는 확인하지만, 비 오는 고속도로에서 안전하게 달릴 수 있는지는 확인하지 않는 것과 같습니다. 로봇은 실험실에서 테스트를 완벽하게 통과할 수 있지만, 실제로 의사나 교사를 돕는 상황에서는 이상하게 행동할 수 있습니다. 우리는 단 몇 분 동안의 실험실 테스트가 아니라, 로봇, 그것을 사용하는 사람, 그리고 환경을 포함한 전체 "사회기술적 시스템(sociotechnical system)"을 장기간에 걸쳐 테스트해야 합니다.

3. "나쁘지 마라"라는 함정
현재의 시스템은 AI가 나쁜 일을 하지 않도록 하는 데에만 집착하고 있습니다. 이는 마치 학생이 벌점을 받지 않으면 금색 별을 주는 학교와 같습니다. 하지만 만약 당신이 벌점을 한 번도 받지 않았지만, 동시에 아무도 돕지 않았다면 어떻게 될까요? 논문은 우리가 해악(예: "이 AI가 무례한 말을 했는가?")을 측정하는 도구는 훌륭하게 갖추고 있지만, 이익(Benefit)(예: "이 AI가 학생의 학습 속도를 높이는 데 도움을 주었는가?")을 측정하는 도구는 거의 없다는 점을 지적합니다. 우리는 오직 AI가 무엇을 피해야 하는지만 측정하기 때문에, 기업들은 "최소한의 안전" 선에 도달하면 성장을 멈춥니다. 그들은 "나쁘지 않은 것"만이 보상받는 구조 속에서, 더 훌륭해지기 위해 노력할 이유를 찾지 못합니다.

무엇이 빠져 있는가? 독립적인 배지

논문은 다른 산업 분야가 이 문제를 어떻게 해결하는지 살펴봅니다. 의료 분야에서 의사들은 단순히 "이 약이 효과가 있다고 생각한다"라고 말하지 않습니다. 그들은 독립적인 테스트를 통해 이를 증명해야 하며, 사람들이 약을 복용한 후 부작용을 보고하는 엄격한 규칙이 있습니다. 건축 분야에는 설계자가 "그럴 것이다"라고 말하는 것이 아니라, 건물이 실제로 에너지 효율적임을 보여주는 녹색 건축 라벨(LEED 등)이 있습니다. 사이버 보안 분야에서는 기업이 데이터를 안전하게 지킬 수 있음을 증명하기 위해 제3자로부터 감사를 받습니다.

저자들은 AI에도 이와 유사한 것, 즉 **독립적이고 결과 중심적인 인증(Independent, Outcome-Oriented Certification)**이 필요하다고 주장합니다.

이것은 단순히 기업이 따라야 할 또 다른 규칙 세트가 아닙니다. 이는 모든 것을 하나로 묶는 "연결 계층(connective layer)"입니다. 작동 방식은 다음과 같습니다:

• 제3자 검증: 독립적인 그룹(AI를 만드는 회사가 아닌 곳)이 결과를 검증합니다.
• 현실 세계의 증거: 그들은 단순히 코드를 확인하는 것이 아니라, AI가 실제로 시간이 흐름에 따라 현실 세계에서 사람들을 돕고 있는지 확인합니다.
• 명확한 신호: 그 결과는 구매자, 투자자, 규제 기관이 이해할 수 있는 명확한 배지나 라벨이 됩니다. 이는 "이 AI는 단순히 안전할 뿐만 아니라, 실제로 선한 영향을 미친다"라는 것을 알려줄 것입니다.

왜 지금 중요한가

논문은 우리가 이 시스템을 조속히 구축하지 않는다면, AI가 소셜 미디어와 같은 길을 걷게 될 수도 있다고 제언합니다. 소셜 미디어 기업들은 사용자의 정신 건강에 실제로 도움이 되는지 확인하지 않은 채, "참여도(engagement, 앱에 머무는 시간)"만을 쫓다가 중독적이고 해로운 플랫폼을 만들었습니다. 정부가 개입하여 이를 바로잡으려 했을 때는 이미 피해가 발생한 후였습니다.

저자들은 우리가 이 운명을 피할 수 있다고 믿습니다. 우리는 처음부터 새로운 기술을 발명할 필요가 없습니다. 우리는 이미 안전성과 공정성을 측정할 수 있는 도구들을 가지고 있습니다. 우리에게 부족한 것은 이러한 측정값을 시장이 신뢰할 수 있는 신호로 바꾸는 **인프라(infrastructure)**입니다.

그들은 3단계 시스템을 제안합니다:

1. **규제(Regulation)**는 법적 최저선(반드시 해야 할 최소한의 의무)을 설정합니다.
2. **표준(Standards)**은 그 규칙들을 기술적인 단계로 변환합니다.
3. **인증(Certification)**은 당신이 실제로 그 일을 해냈다는 독립적인 증거를 제공합니다.

논문은 이것이 타이밍에 관한 선택이라고 결론짓습니다. AI가 큰 문제를 일으킨 후에 이를 고치려고 기다릴 것인지, 아니면 기술이 성장하고 있는 지금 이 "신뢰 배지" 시스템을 구축할 것인지의 문제입니다. 저자들은 신뢰성을 측정 가능하고, 비교 가능하며, 보상받을 수 있는 것으로 만듦으로써, 책임 있는 AI를 비용이 아닌 경쟁 우위로 바꿀 수 있다고 제안합니다. 이는 "우리는 선하다고 약속합니다"에서 "여기 우리의 증거가 있습니다"로 나아가는 과정입니다.