Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models

당신은 매우 자신감 넘치고 믿을 수 없을 정도로 빠른 로봇이 쓴 이야기를 읽고 있다고 상상해 보세요. 이 로봇은 거의 모든 책을 읽었으며 고대사부터 양자 물리학에 이르기까지 무엇에 대해서든 답할 수 있습니다. 하지만 가끔 로봇이 막히거나 답을 모를 때, "모릅로다"라고 말하는 대신, 완벽하게 들리지만 완전히 지어낸 사실들을 유창하고 매끄러운 목소리로 계속 떠들어댑니다. 컴퓨터 과학의 세계에서 이것을 '환각(hallucination)'이라고 부릅니다. 이는 중요한 문제인데, 만약 우리가 의료 조언이나 법적 결정과 같은 중요한 작업에 이 로봇들을 신뢰하게 된다면, 그들의 자신만만한 거짓말이 실제적인 문제를 일으킬 수 있기 때문입니다.

이러한 환각을 잡아내는 방법을 이해하려면 먼저 로봇의 두뇌 내부를 들여다봐야 합니다. 이와 같은 현대의 로봇들은 '트랜스포머(Transformer)'라는 시스템을 사용하는데, 이는 문장의 다음 내용을 파악하기 위해 문장의 서로 다른 부분에 주의를 기울이는(attention) 방식으로 작동합니다. 이것은 마치 탐정 그룹(이를 '어텐션 헤드(attention heads)'라고 부릅니다)이 범죄 현장(문장)을 조사하는 것과 같습니다. 보통 이들은 가장 중요한 단서들에 집중합니다. 그러나 연구자들은 최근 기묘한 사실을 발견했습니다. 때때로 이 탐정들이 문장의 맨 첫 단어나 빈 공간처럼 매우 사소하고 지루한 특정 단서들에 집착하여 나머지 증거들을 무시한다는 것입니다. 그들은 이러한 집착을 '어텐션 싱크(attention sinks)'라고 부릅니다. 이는 마치 탐정들이 실제 살해 도구를 놓친 채 단 하나의 먼지 뭉치를 너무 열심히 응시하고 있는 것과 같습니다.

"대규모 언어 모델의 환각 탐지를 위한 내부 신호로서의 어텐션 싱크"라는 제목의 이 논문은 단순하지만 명쾌한 질문을 던집니다. "우리는 이 기묘한 '어텐션 싱크'를 사용하여 로봇이 거짓말하는 것을 잡아낼 수 있을까?" 저자인 야쿠브 빈코프스키(Jakub Binkowski)와 그의 팀은 SinkProbe라는 새로운 방법을 제안합니다. 그들은 로봇이 환각을 일으키기 시작할 때, 내부의 어텐션 시스템이 이러한 중요하지 않은 토큰들로 인해 "막히거나" "붕괴되어", 실제 사실과의 연결을 잃어버린다고 제안합니다. 로봇이 이 '싱크(sinks)'에 얼마나 많은 어텐션을 쏟아붓고 있는지 측정함으로써, 우리는 로봇이 언제부터 이야기를 지어내기 시작할지 예측할 수 있습니다.

탐정의 새로운 도구: SinkProbe

저자들은 단순히 추측한 것이 아니라, 이 아이디어를 테스트할 도구를 직접 만들었습니다. 그들은 수학 문제와 일반 상식 퀴즈를 포함한 다양한 까다로운 데이터셋에 대해 질문에 답하는 동안 Llama나 Mistral과 같은 여러 인기 있는 대규모 언어 모델(LLM)의 어텐션 맵을 살펴보았습니다.

이 방법이 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다. 로봇의 두뇌가 많은 차선(레이어)과 많은 자동차(토큰)가 있는 번잡한 고속도로라고 상상해 보세요. 보통 자동차들은 도로의 서로 다른 부분을 바라보며 퍼져 나갑니다. 하지만 로봇이 환각을 일으키려 할 때, 교통 정체가 발생합니다. 몇몇 특정한 자동차들(싱크)이 거대한 교통 정체에 갇히게 되고, 고속도로 위의 거의 모든 다른 자동차들이 앞길을 보는 대신 그들을 쳐다보기 시작합니다.

저자들은 정확히 얼마나 많은 교통 정체가 이 특정 지점들에 발생하는지 측정하기 위해 **싱크 점수(Sink Score)**라는 점수를 개발했습니다. 그들은 로봇이 거짓말을 할 때 이 싱크 점수가 급증한다는 것을 발견했습니다. 하지만 반전이 있습니다. 모든 교통 정체가 다 같은 것은 아닙니다. 저자들은 거짓말을 잡아내는 데 정말 중요한 '싱크'는 단순히 많은 주목을 받는 것뿐만 아니라, 무거운 하중(큰 '가치 벡터(value vector)')을 실고 있는 것임을 발견했습니다. 그것은 마치 교통 정체가 발생한 곳의 갇힌 자동차들이 무거운 상자들까지 싣고 있는 상황과 같습니다. 그럴 때 비로소 정보의 흐름에 심각한 문제가 생겼음을 알 수 있습니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

결과는 꽤 유망했습니다. 이들은 단순한 컴퓨터 프로그램(로지스틱 회귀 분류기)을 훈련시켜 이 싱크 점수를 관찰하게 했고, 이 프로그램은 환각을 포착하는 데 매우 뛰어난 성능을 보였습니다. 실제로 그들이 수행한 대부분의 테스트에서, 그들의 새로운 방법인 SinkProbe는 다양한 방식으로 어텐션 패턴을 살펴보고 거짓말을 탐지하려 했던 기존의 다른 방법들보다 더 우수한 성능을 보였습니다.

예를 들어, GSM8K(수학 문제가 포함된 데이터셋)에서 SinkProbe는 0.845의 점수를 기록하여, 0.835를 기록한 기존의 최고 방법을 앞질렀습니다. 모델을 속이도록 설계된 데이터셋인 TruthfulQA에서 SinkProbe는 0.785를 기록하며 다시 한번 정상에 올랐습니다. 저자들은 이 방법이 30억 개의 파라미터를 가진 작은 모델부터 120억 개의 파라미터를 가진 큰 모델에 이르기까지 다양한 크기의 모델에서 잘 작동한다고 언급했습니다.

그러나 이 논문은 자신들의 방법이 환각 문제를 "해결했다"고 주장하는 데 주의를 기울입니다. 저자들은 이 방법이 모델의 내부 어텐션 가중치에 대한 접근 권한을 필요로 한다는 점을 명시적으로 밝히는데, 이는 이 방법이 뇌의 배선을 볼 수 있는 오픈 소스 모델에서만 작동하며, 폐쇄적이고 비밀스러운 모델에서는 작동하지 않음을 의미합니다. 또한 그들은 어텐션 싱크와 환각 사이에 강력한 연관성을 발견했지만, 싱크가 거짓말을 유발한다는 것을 증명하지는 못했다고 분명히 했습니다. 이는 자동차가 사고가 났을 때 엔진이 과열되는 것을 보는 것과 같습니다. 열기는 문제의 명확한 신호이지만, 열 자체가 자동차가 사고 난 원인은 아닐 수도 있습니다.

이것이 왜 중요한가

이 연구의 아름다움은 여러 가지 서로 다른 아이디어들을 하나로 통합했다는 점에 있습니다. 저자들은 어텐션 그래프의 "형태"를 보거나 질문 대 답변에 얼마나 많은 어텐션이 부여되는지를 비교하는 등의 기존 방식들이 사실은 모두 동일한 "싱크" 현상을 바라보는 서로 다른 방식일 뿐이라는 것을 보여주었습니다. 이는 마치 세 명의 서로 다른 사람이 코끼리의 다리, 귀, 꼬리를 만지며 코끼리를 묘사하려고 하는 것과 같습니다. 그들은 모두 다른 각도에서 보고 있지만, 결국 같은 동물(코끼리)을 느끼고 있는 것입니다.

이러한 "어텐션 싱크"에 집중함으로써, 저자들은 로봇의 내면의 생각을 듣는 더 단순하고 직접적인 방법을 제공합니다. 그들은 로봇의 "거짓말"이 종종 뇌가 새로운 정보를 처리하는 것을 멈추고 오래되고 중요하지 않은 신호를 재활용하기 시작하는 특정한 종류의 내부 교통 정체에 의해 신호된다는 것을 발견했습니다. 이것이 로봇의 거짓말하는 경향을 해결해주지는 못하지만, 로봇이 환상 속으로 빠져들기 시작할 때 알려주는 매우 효과적인 경보 시스템을 제공합니다.

요컨대, 이 논문은 만약 당신이 초지능 AI가 진실을 말하고 있는지 알고 싶다면, 그가 하는 말만 듣지 말고 그가 어디를 보고 있는지도 관찰해야 한다고 제안합니다. 만약 그가 너무 열심히 엉뚱한 것들을 쳐다보고 있다면, 그는 아마도 이야기를 지어내고 있는 것일 겁니다.