From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop

당신이 방금 이야기를 쓰고, 수학 문제를 풀고, 당신의 일상에 대해 수다를 떨 수 있는 아주 똑똑한 로봇 친구를 만들었다고 상상해 보세요. 이것은 단순한 계산기가 아닙니다. 이것은 인터넷 전체로부터 학습하는 언어 기계입니다. 하지만 여기 까다로운 문제가 있습니다. 인터넷 전체에서 배웠기 때문에, 이 로봇은 거짓말을 하거나, 특정 집단에게 무례하게 굴거나, 당신이 까다로운 질문을 했을 때 혼란스러워하는 것과 같은 나쁜 습관도 함께 배웠다는 점입니다. 이것이 바로 컴퓨터 과학의 한 분야로서, 기계가 인간의 언어를 이해하고 말하도록 가르치는 데 전념하는 **자연어 처리(NLP)**의 세계입니다.

오랫동안 과학자들은 이 로봇들을 '블랙박스'처럼 취급했습니다. 질문을 넣으면 마법 같은 답이 튀어나오는 식이었죠. 하지만 이 로봇들이 점점 더 똑똑해지고 의사가 질병을 진단하거나 법률 계약서를 작성하는 것과 같은 더 중요한 일을 하기 시작하면서, 사람들은 "잠깐, 어떻게 그런 답을 얻었지? 정말 사실을 말하고 있는 건가? 공정한가?"라고 묻기 시작했습니다. 이는 **AI 신뢰성(Trustworthiness)**의 부상으로 이어졌습니다. 이것은 마치 신차에 대한 안전 검사를 하는 것과 같습니다. 단순히 차가 빠르게 달리기만을 원하는 것이 아니라, 브레이크가 작동하는지, 에어백이 진짜인지, 그리고 GPS가 당신을 절벽 아래로 인도하지는 않을지 알고 싶은 것과 같습니다. 해석 가능성(Interpretability) 분야는 엔진이 어떻게 작동하는지 내부를 들여다보려는 정비사의 도구 상자이며, **안전성(Safety)**과 **공정성(Fairness)**은 로봇이 누구도 해치지 않도록 만드는 도로 위의 규칙입니다.

---

TrustNLP 워크숍의 6년 여정

이 논문은 TrustNLP 워크숍이라는 특별한 클럽의 시간 여행 일기와 같습니다. 2021년부터 2026년까지 6년 동안, 대학과 대형 기술 기업의 연구자들이 어떻게 AI 로봇을 신뢰할 수 있게 만들지에 대한 이야기를 나누기 위해 이곳에 모였습니다. 아마존, 메타 및 기타 기관의 팀인 저자들은 이 워크숍에서 발표된 모든 논문(144편)을 모두 읽고 시간이 흐름에 따라 대화가 어떻게 변했는지 살펴보기로 했습니다.

그들은 클럽의 초점이 단순히 표류한 것이 아니라, 로봇이 무엇을 하고 있느냐에 따라 격렬하게 요동쳤다는 것을 발견했습니다. 이는 마치 아이들이 자라는 모습을 지켜보는 부모와 같습니다. 아이들이 걸음마 단계였을 때(2021~2022년), 부모들은 아이들이 "부탁합니다"나 "감사합니다"라고 말할 수 있는지(공정성)와 왜 그런 행동을 했는지 설명할 수 있는지(해석 가능성)를 걱정했습니다.

하지만 2022년 말, 로봇들은 빠르게 성장했습니다. 갑자기 로봇들이 전체 소설을 쓰고 실제 사람처럼 대화할 수 있게 된 것입니다. 이것이 "챗봇 시대"였습니다. 부모들의 걱정은 즉각적으로 변했습니다. 이제 그들은 로봇이 거짓말을 할까 봐(진실성), 혹은 나쁜 녀석들에게 속아 넘어갈까 봐(강건성) 두려워하게 되었습니다. 논문은 강력한 챗봇들이 등장하자마자, 연구자들이 단순히 "로봇이 어떻게 생각하는가"를 걱정하는 것을 멈추고 "로봇이 나에게 거짓말을 하고 있는가?"를 걱정하기 시작했음을 보여줍니다.

네 가지 큰 교훈

144편의 논문을 분류한 후, 저자들은 이 분야가 어디로 향하고 있는지를 알려주는 네 가지 큰 패턴을 찾아냈습니다.

1. 로봇이 먼저 움직이고, 과학자들이 뒤쫓아간다
이 논문은 연구자들이 항상 뒤처져 있다는 점을 시사합니다. 새로운, 매우 강력한 로봇 기능(예: 2022년의 첫 대규모 챗봇이나 2024년의 이미지 인식 능력)이 나타날 때마다, 과학자들은 로봇이 이미 세상에 나온 후에야 비로소 그 위험성에 대해 글을 쓰기 시작합니다. 이것은 마치 새로운 비디오 게임이 출시된 후에야 누군가가 보스를 물리치는 공략법을 쓰기 시작하는 것과 같습니다. 워크숍 논문들은 연구 의제가 선제적이지 않고 반응적임을 보여줍니다. 우리는 로봇이 비틀거리는 것을 보고 나서야 안전망을 구축합니다.

2. "블랙박스" 문제는 실재하며, 점점 더 심각해지고 있다
수년간 과학자들은 단지 로봇의 답변만을 보고 로봇을 신뢰하려고 노력했습니다. 만약 로봇이 "하늘은 파랗다"라고 말하면, 그들은 괜찮다고 가정했습니다. 하지만 논문은 이것이 나쁜 생각이라고 주장합니다. 이것은 마술사가 토끼를 어떻게 모자 안에 넣었는지 알지 못한 채, 눈앞에 보이는 마술 기술만으로 마술사를 판단하는 것과 같습니다. 저자들은 로봇이 잘못된 이유로 옳은 답을 내놓거나, 너무 늦기 전까지 나쁜 행동을 숨길 수 있다는 것을 발견했습니다. 그들은 로봇을 진정으로 신뢰하려면 로봇이 하는 말을 듣는 것뿐만 아니라, 그 내부의 "두뇌"(내부 코드와 수학)를 들여다봐야 한다고 제안합니다. 우리는 최종 결과물만이 아니라, 돌아가는 톱니바퀴를 봐야 합니다.

3. 모든 것을 다 가질 수는 없다
가장 흥격한 발견 중 하나는 하나의 문제를 해결하면 종종 다른 문제가 발생한다는 점입니다. 논문은 로봇을 더 공정하게 조정하면 정확도가 떨어질 수 있다고 지적합니다. 만약 로봇이 아무런 나쁜 말을 하지 못하도록 너무 안전하게 만든다면, 무해한 질문(예: "샌드위치를 어떻게 만드나요?")에 답변하기를 거부할 수도 있습니다. 이것은 기타를 조율하는 것과 같습니다: 완벽한 음정을 얻기 위해 한 줄을 조이면 다음 줄의 음이 틀어질 수 있습니다. 연구자들은 완벽한 로봇이란 존재하지 않으며, 오직 트레이드오프(절충)가 존재할 뿐이며, 어떤 문제를 먼저 해결하는 것이 가장 중요한지 결정해야 한다는 점을 깨달았습니다.

4. "왜"라는 질문이 다시 돌아오고 있다
여기 반전이 있습니다: 초기에(2021년), 모두가 로봇이 왜 그런 결정을 내렸는지 알고 싶어 했습니다. 그러다 몇 년 동안 로봇이 너무 복잡해져서 이해할 수 없게 되자 사람들은 관심을 끊었습니다. 하지만 2026년에 이르러, 논문은 거대한 귀환을 기록했습니다! 과학자들은 다시 로봇의 두뇌를 이해하려고 노력하고 있지만, 이번에는 훨씬 더 강력한 도구들을 사용하고 있습니다. 단순히 로봇에게 스스로를 설명하라고 요청하는 대신(로봇은 거짓말을 할 수도 있으니까요), 그들은 "기계적 해석 가능성(mechanistic interpretability)"을 사용합니다. 기본적으로 로봇의 뇌를 X-레이로 찍어서 특정 주제에 대해 생각할 때 정확히 어느 부분이 빛나는지 보는 것입니다. 이는 "무엇을 말했는가?"라는 질문에서 "그 말을 하게 만든 정확한 전선들을 보여달라"는 질문으로의 변화입니다.

결론

논문은 우리가 매우 바쁘고 혼란스럽지만 흥미로운 시기에 있다고 결론짓습니다. 워크숍의 논문 수가 2021년 단 8편에서 2026년 41편으로 증가한 것은, 모두가 이 문제들을 해결하려고 노력하고 있음을 보여줍니다. 하지만 저자들은 경고합니다: 우리가 문제를 연구하고 있다고 해서, 그것을 해결했다는 뜻은 아닙니다.

그들은 우리가 단순히 로봇이 실패하는 것을 지켜보는 것을 멈추고, 로봇이 애초에 실패하지 않을 것임을 보장할 수 있는 시스템을 구축하기 시작해야 한다고 제안합니다. 우리는 공정성, 안전성, 진실성을 별개의 퍼즐로 다루는 것이 아니라, 이들을 하나로 연결하는 단일한 규칙, 즉 마스터 플랜이 필요합니다. 그때까지 AI 신뢰의 이야기는, 우리가 생각하는 속도보다 더 빠르게 배우는 기계들의 좋은 부모가 되기 위해 노력하며, 우리 자신의 창조물을 따라잡기 위해 달려가는 우리의 이야기입니다.