Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
이 체계적 매핑 연구는 거대 언어 모델을 위한 설명 가능성 방법론에 관한 1,252편의 연구 논문을 분석하여, 대부분의 기술이 접근 불가능한 내부 모델 데이터를 필요로 하며 인간의 유용성 및 실세계 배포에 관한 증거가 여전히 매우 부족하다는 점을 밝혀냈다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
지난 몇 년 동안, 새로운 종류의 컴퓨터 프로그램이 우리가 기술과 상호작용하는 방식을 재편했습니다. 거대 언어 모델(LLM)로 알려진 이 시스템들은 이야기를 쓰고, 수학 문제를 풀고, 놀라울 정도로 인간적인 대화를 나눌 수 있습니다. 이들은 문장의 다음 단어를 층층이 예측하여 하나의 완성된 생각을 만들어내는 방식으로 작동합니다. 하지만 이러한 프로그램은 수십억 개의 조절 가능한 설정값으로 구축되었기 때문에, 그 내부 작동 방식은 종종 미스터리로 남습니다. 시스템이 답변을 내놓을 때, 그 답변이 사실에 대한 깊은 이해에서 나온 것인지, 아니면 단순히 이전에 본 패턴에 기반한 영리한 추측인지 알기 어렵습니다. 이러한 불확 certainty는 설명 가능성(explainability), 즉 기계 내부를 들여다보고 왜 특정 선택을 했는지 이해할 수 있는 능력에 대한 절실한 필요성을 낳았습니다. 연구자들은 결정의 근원을 추적하여 최종 출력으로 이어진 논리, 데이터, 또는 컴퓨터 뇌의 특정 부분을 밝혀낼 수 있는 도구를 구축하기 위해 노력하고 있습니다.
그리스 피레우스 대학교의 연구팀은 이 분야를 명확히 하는 데 있어 거대한 진전을 이루었습니다. 그들은 2019년부터 2026년 8월 사이에 발표된 약 8,000건의 과학 보고서를 종합적으로 조사한 후, 거대 언어 모델이 어떻게 작동하는지 설명하려고 시도한 1,252개의 연구로 범위를 좁혔습니다. 그들의 목표는 새로운 방법을 발명하는 것이 아니라, 기존 방법론의 전체 지형을 그리는 것이었습니다. 그들은 과학자들이 어떤 종류의 설명을 구축하고 있는지, 컴퓨터의 어느 부분을 들여다볼 수 있는지, 그리고 이러한 설명이 실제로 사람들이 기계를 이해하는 데 도움이 되는지 아니면 그저 그럴싸해 보이기만 하는지를 알고 싶었습니다. 이 방대한 작업을 관리하기 위해 연구진은 정교하게 설계된 인공지능 시스템을 사용하여 모든 논문을 읽고 분류했으며, 정확성을 보장하기 위해 인간 전문가들이 검수를 진행했습니다.
그들이 그린 지도에서 가장 눈에 띄는 발견은 과학자들이 구축하는 도구와 오늘날 이 모델들이 사용되는 현실 사이의 근본적인 불일치입니다. 그들이 발견한 방법의 대다수인 약 70%는 컴퓨터의 뇌에 대한 깊은 내부 접근 권한을 요구합니다. 이 도구들을 사용하려면 연구자는 시스템을 흐르는 가공되지 않은 숫자들을 보거나 심지어 모델 자체의 설정을 변경해야 합니다. 그러나 사람들이 매일 사용하는 가장 강력한 언어 모델들은 폐쇄형 서비스로서 기업들에 의해 호스팅됩니다. 사용자들은 메시지를 보내고 답변을 받을 수는 있지만, 내부의 숫자들을 보거나 설정을 변경할 수는 없습니다. 이는 이러한 모델들을 설명하는 가장 정교한 방법들이 정작 설명이 가장 필요한 바로 그 시스템들에는 사실상 무용지물임을 의미합니다. 텍스트 출력이나 다음 단어의 확률 점수만을 읽는 것과 같이 대중이 사용할 수 있는 제한된 접근 권한으로 작동할 수 있는 연구는 약 23%에 불쳐했습니다.
연구진은 또한 이러한 설명들이 실제로 무엇을 증명하고 있는지도 살펴보았습니다. 그들은 대부분의 연구가 '충실성(faithfulness)', 즉 설명이 컴퓨터의 내부 논리와 진정으로 일치하는지를 묻는 기술적인 질문에 집중하고 있음을 발견했습니다. 약 70%의 논문은 자신들의 방법이 결정의 원인을 정확하게 식별했음을 보여주려 했습니다. 그러나 연구 결과, 이러한 설명이 실제로 인간에게 유용한지를 테스트한 연구자는 매우 적었습니다. 실제 사람들이 설명을 테스트하여 그것이 더 나은 결정을 내리거나 시스템을 이해하거나 출력을 신뢰하는 데 도움이 되는지 확인한 연구는 약 3%에 불과했습니다. 이는 마치 엔지니어들이 도시의 지하 터널 지도를 완벽하게 만드는 데 수년을 보냈지만, 정작 통근자에게 그 지도가 길을 찾는 데 도움이 되는지 한 번도 물어보지 않은 것과 같습니다.
방법론을 테스트하는 방식에서도 또 다른 중요한 격차가 나타났습니다. 많은 연구가 자신들의 방법이 견고하다고 주장했지만, 결과가 단순히 우연이 아님을 증명하기 위해 엄격한 대조군을 사용한 연구는 3분의 1 미만이었습니다. 더욱이, 현실 세계의 규칙 및 규제와의 연결성은 거의 존재하지 않았습니다. 인공지능 투명성에 관한 법률이 자주 언급됨에도 불구하고, 기술적 방법론을 구체적인 법적 요구 사항과 실제로 연결한 연구는 극소수에 불과했습니다. 연구진은 이 분야가 급격히 성장하고 있으며, 포함된 연구의 거의 절반이 지난 1년 사이에 발표되었음에도 불구하고, 시장을 지배하는 폐쇄형 독점 시스템보다는 누구나 다운로드할 수 있는 오픈 소스 모델에 과도하게 집중되어 있다고 지적했습니다.
이 연구는 설명 가능한 거대 언어 모델 분야가 갈림길에 서 있다고 결론짓습니다. 현재 사용 가능한 도구들은 강력하지만 종종 접근이 불가능하며, 인간의 유용성보다 기술적 정확성을 우선시합니다. 연구진은 향후 연구가 상업적 서비스에서 제공하는 제한된 접근 권한으로 작동하는 방법과 실제 사람들을 대상으로 한 설명 테스트에 집중해야 한다고 제안합니다. 그때까지 가장 진보된 설명들은 기계에 대한 모든 접근 권한을 가진 연구실 안에 갇혀 있을 것이며, 일반 대중에게는 점점 더 강력해지지만 이해하기는 점점 더 어려워지는 시스템만을 남겨둘 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.