The Query Cannot See the Question: A Short Convolution's Reach Decides Which Part of a Query Conditions Retrieval, and What Falls Outside Becomes a Confident Wrong Answer
이 논문은 선형 어텐션(linear-attention) 및 상태 공간 모델(state-space models)에서의 짧은 인과적 깊이별 합성곱(causal depthwise convolution)이 쿼리의 어느 부분이 검색을 조건화할 수 있는지에 대해 하드하고 저하되지 않는 한계를 부과하며, 이로 인해 결정적인 정보가 이 좁은 창 외부로 벗어날 경우 모델이 확신을 가지고 틀린 답을 생성하게 만드는데, 이러한 실패는 얕은 층에서는 지속되지만 더 깊은 구조나 더 큰 커널에 의해 완화될 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
정보를 기억하는 현대의 인공지능 시스템은 종종 방대한 사실의 영구적인 아카이브를 보관하는 사서처럼 작동합니다. 질문을 받으면, 시스템은 먼저 그 아카이브에서 올바른 페이지를 찾아낸 다음 답을 읽어야 합니다. 하지만 두 번째로 더 어려운 과제가 있습니다. 바로 답이 존재하지 않을 때 시스템이 이를 알아차려야 한다는 것입니다. 만약 정보를 찾을 수 없다면, 똑똑한 시스템은 확신에 찬 거짓 답변을 만들어내기보다 모른다고 인정해야 합니다. "모른다"와 "안다"를 구분하는 이 능력은 신뢰할 수 있는 기억과 횡설수설하는 자를 가르는 기준이 됩니다. 수년간 연구자들은 모델이 올바른 사실을 검색하는 데 실패한다면, 그것이 정보가 너무 복잡하거나 모델이 충분히 잘 훈련되지 않았기 때문이라고 가정해 왔습니다. 그러나 새로운 연구는 이 문제가 훨씬 더 단순하고 기계적인 문제일 수 있음을 시사합니다. 즉, 질문에서 중요한 부분이 검색을 수행하는 시스템의 부분에게는 물리적으로 보이지 않는다는 것입니다.
독립 연구자인 맥시밀리언 스페란자(Maximiliano Speranza)가 수행한 이 연구는 짧고 국소적인 창(window)을 사용하여 질문을 형성하는 특정 유형의 인공지능 아키텍처를 조사합니다. 이러한 시스템에서 메모리를 검색하는 데 사용되는 '쿼리(query)'는 현재 단어와 그 바로 앞의 몇 단어만을 살펴봄으로써 구축됩니다. 이 창의 표준 설정은 매우 작아서 불과 세 단어 전까지만 볼 수 있습니다. 연구는 이 제한된 시야가 단순히 언어를 매끄럽게 만드는 사소한 디테일이 아니라, 하나의 단단한 장벽임을 밝혀냈습니다. 만약 질문의 결정적인 정보가 이 작은 창 밖에 떨어진다면, 시스템은 그 정보를 단순히 무시하거나 약하게 취급하는 것이 아니라, 검색 메커니즘에 있어서는 사실상 존재하지 않는 것처럼 취급합니다. 그러면 시스템은 자신이 실제로 볼 수 있는 질문의 파편만을 사용하여 질문에 답하며, 종종 완벽하게 확신에 찬 어조로 틀린 답을 내놓게 됩니다.
이를 증명하기 위해 연구자는 사실들이 영구적인 아카이브에 저장된 합성 언어로 훈련된 작은 언어 모델을 구축했습니다. 모델은 "[개체]의 [관계]는 무엇인가?"와 같은 질문으로 테스트되었습니다. 여기서 개체는 검색 지점에서 한 단어 떨어져 있었고, 관계는 세 단어 떨어져 있었습니다. 표준 설정에서 창은 두 단어 전까지만 도달할 수 있었습니다. 이는 관계가 항상 창 밖에 있었음을 의미합니다. 결과는 극명했습니다. 관계가 창의 가장자리를 넘어가는 순간, 시스템의 관계에 대한 민감도는 절대 0으로 떨어졌습니다. 관계가 바뀌어도 검색 결과는 움직이지 않았습니다. 모델은 누락된 단어를 무시한 것이 아니라, 말 그대로 그 단어에 대해 눈이 멀어 있었던 것입니다. 결과적으로, 특정 개체에 대해 명시된 적이 없는 관계에 대해 질문을 받았을 때, 모델은 "모른다"라고 말하는 대신, 근처에 있던 다른 관련 없는 사실을 자신 있게 불러와서, 확신에 찬 오류처럼 보이는 환각(hallucination)을 만들어냈습니다.
연구진은 단순히 창의 크기를 넓히는 것만으로 이 맹목성을 해결할 수 있는지 테스트했습니다. 모델의 파라미터를 아주 조금만 추가하는 수준인 양옆으로 단 한 단어씩만 창을 넓혔을 때, 모른다고 인정하는 시스템의 능력은 급격히 향상되었습니다. 모델이 이전에 환각을 일으켰던 어려운 사례들에서, 더 넓어진 창 덕분에 모델은 거의 매번 올 คcorrect하게 답변을 유보할 수 있었으며, 정확도는 약 60퍼센트에서 거의 100퍼센트로 뛰어올랐습니다. 이는 실패의 원인이 지능이나 훈련의 부족이 아니라, 단순한 기하학적 한계, 즉 검색 도구가 필요한 정보에 도달하기에는 너무 짧았기 때문임을 입증했습니다.
연구진은 자신들의 작은 모델에서 멈추지 않고, 이 현상이 더 큰 실제 세계의 시스템에서도 존재하는지 확인했습니다. 그들은 1억 3천만 개의 파라미터를 가진 공개된 사전 훈련 모델을 조사했고, 동일한 기계적 단절을 발견했습니다. 이 더 큰 모델에서 시스템의 내부 상태는 전체 단어 시퀀스를 "볼" 수 있었지만, 그 상태를 읽는 특정 쿼리 메커니즘은 여전히 짧은 창에 의해 제한되어 있었습니다. 단어가 창 밖 멀리서 바뀌었을 때, 나머지 시스템은 변화를 감지했음에도 불구하고 쿼리 출력은 정확히 0으로 유지되었습니다. 이는 이 '맹목성'이 특정 훈련 과정의 특이점이 아니라, 아키텍처의 구조적 특징임을 확인시켜 주었습니다.
하지만 이 초기 발견을 복잡하게 만드는 두 번째 층위가 있습니다. 깊은 모델들은 정보가 전달될 수 있는 여러 개의 후속 레이어를 가지고 있기 때문에, 짧은 창이 첫 번째 처리 레이어에서는 강력한 차단 역할을 하더라도, 깊은 모델에서는 정보가 전달되는 방식이 달라집니다. 연구는 이러한 깊은 모델에서 "보이지 않는" 단어로부터 오는 신호가 영원히 차단되는 것이 아니라, 레이어를 통과하며 단순히 약화된다는 것을 발견했습니다. 신호가 훨씬 낮은 강도로 도착하긴 하지만, 여전히 존재한다는 것입니다. 연구진이 동일한 작업에 대해 깊은 모델을 미세 조정(fine-tuning)했을 때, 모델이 처음에 창 밖에 있었던 정보를 결국 사용할 수 있게 된다는 것을 발견했지만, 이를 배우는 데 훨씬 더 많은 시간이 걸렸습니다. 짧은 창은 정보를 사용할 수 없게 만드는 것이 아니라, 학습 비용을 높이는 것이었습니다. 추가적인 레이어의 도움을 받을 수 없는 얕은 모델에서 창은 성능의 상한선을 설정하지만, 깊은 모델에서 창은 시간이 지나면 지불해야 할 통행료를 설정합니다.
마지막으로, 연구진은 이 구성이 드문 예외적인 사례인지, 아니면 흔히 발생하는 일인지 조사했습니다. 연구진은 검색 엔진 쿼리와 트리비아 데이터베이스를 포함한 다양한 출처에서 수만 개의 실제 질문을 분석했습니다. 그 결과, 실제 질문의 90에서 100퍼센트 사이에서 질문의 핵심적인 부분들이 표준적인 짧은 창의 범위보다 더 멀리 떨어져 있다는 것을 발견했습니다. 이 문제는 예외적인 경우가 아니라 일반적인 상황이었습니다. 인간 언어의 기하학적 구조는 질문의 가장 중요한 부분들을 자연스럽게 표준적인 짧은 창의 검색 메커니즘이 한 번에 모두 볼 수 없을 만큼 멀리 떨어뜨려 놓습니다.
논문은 로컬 창을 사용하여 메모리를 검색하는 모든 시스템에서 이 문제를 진단할 수 있는 간단하고 비용이 들지 않는 방법을 제시하며 마무리됩니다. 새로운 모델을 훈련하거나 복잡한 테스트를 실행할 필요가 없습니다. 단순히 질문을 가져와서, 문장 뒤쪽에 있는 단어를 같은 유형의 다른 단어로 교체한 뒤, 시스템의 검색이 변하는지 확인하기만 하면 됩니다. 만약 검색이 움직이지 않는다면, 그 단어는 시스템에게 보이지 않는 것이었으며, 시스템이 표현하는 그 어떤 확신도 근거가 없는 것입니다. 이 연구는 이러한 시스템들이 충분한 깊이와 시간을 부여받는다면 스스로의 아키텍처적 맹목성을 극กัน 극복할 수 있지만, 초기 실패는 기계적인 필연이라는 점을 밝혀냈습니다. 시스템은 부분적인 시야를 바탕으로 완전한 확신을 가지고 답하며, 아키텍처를 변경하거나 모델에 충분한 레이어를 제공하여 그 통행료를 지불하게 하기 전까지, 그 확신은 종종 잘못된 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.