Linearized 2-Simplicial Attention

AI 두뇌의 메모리 문제

당신이 로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 이야기가 말이 되게 하려면, 로봇은 마지막 단어를 쓰고 있는 동안에도 문장의 맨 처음에 일어났던 일을 기억해야 합니다. 인공지능의 세계에서는 이를 "어텐션(attention)"이라고 부릅니다. 이를 수행하는 가장 대중적인 방법은 마치 매우 체계적인 사서와 같습니다. 로봇이 단어를 요청할 때마다, 사서는 지금까지 쓰인 모든 내용을 담은 거대한 도서관 전체를 즉시 훑어서 완벽하게 일치하는 것을 찾아냅니다. 이 방식은 매우 잘 작동하지만, 치명적인 결함이 있습니다. 로봇이 글을 더 많이 쓸수록 사서가 서가를 훑는 데 걸리는 시간이 길어진다는 점입니다. 이야기가 너무 길어지면 사서는 압도당하고, 로봇은 메모리나 시간을 모두 소진하게 됩니다.

과학자들은 도서관 전체를 일일이 훑지 않고도 전체 도서관을 기억할 수 있는 "빠른 사서"를 만들기 위해 노력해 왔습니다. 어떤 이들은 도서관을 아주 작은 요약 노트로 압축하려고 시도했지만, 이는 종종 로봇이 구체적인 세부 사항을 잊어버리게 만들었습니다. 또 다른 이들은 최근 몇 페이지에만 집중하도록 시도했지만, 그러면 로고는 1장에서 일어난 반전을 기억하지 못하게 됩니다. 컴퓨터 과학의 이 분야에서 던지는 큰 질문은 이것입니다: 시작부터의 모든 것을 기억하면서, 동시에 세 가지 서로 다른 아이디어 사이의 복잡한 관계를 이해하고, 이야기가 길어져도 속도가 느려지지 않는 두뇌를 만들 수 있을 것인가? 이 논문은 바로 그 퍼즐을 다루며, 빠르면서도 놀라울 정도로 깊이 있는 새로운 방식의 메모리 조직법을 제안합니다.

논문의 핵심 아이디어: 새로운 종류의 메모리

Truth Audit Labs의 연구원인 Aritra Das, Dharuman Gupta, 그리고 Debayan Gupta는 선형화된 2-심플리셜 어텐션(Linearized 2-Simplicial Attention), 줄여서 "LinSimp"라고 불리는 새로운 유형의 어텐션 메커니즘을 발명했습니다. 이것이 왜 특별한지 이해하려면, 먼저 일반적인 AI 두뇌가 보통 어떻게 작동하는지 살펴봐야 합니다.

대부분의 AI 모델은 현재의 단어(쿼리, query)를 과거의 단어(키, key)와 연결하기 위해 "어텐션"을 사용합니다. 이는 일대일 관계입니다. 하지만 때로는 문장을 진정으로 이해하기 위해 세 가지를 동시에 연결해야 할 때가 있습니다. 예를 들어, "고양이가 매트 위에 앉았다. 왜냐하면 그것이 부드러웠기 때문이다"라는 문장을 생각해 봅시다. 고양이가 왜 그곳에 앉았는지 이해하려면, AI는 "고양이", "매트", "부드러움"을 동시에 연결해야 합니다. 이를 "2-심플리셜(2-simplicial)" 상호작용이라고 합니다. 이전의 시도들은 백만 명의 군중 속에서 특정 친구 세 명을 찾는 것과 같았습니다. 모든 가능한 삼인조를 일일이 확인하는 방식이었죠. 이는 정확했지만 믿을 수 없을 정도로 느리고 비용이 많이 들었으며, 군중이 늘어날수록 점점 더 느려졌습니다.

저자들의 돌파구는 영리한 수학적 트릭입니다. 그들은 이 복잡한 삼자 간의 연결을 재구성하여, 한 부분은 전역적으로(전체 역사를 보며) 일어나고 다른 한 부분은 지역적으로(최근 단어들만 보며) 일어나도록 만들 수 있다는 것을 깨달았습니다.

여기 비유가 있습니다: AI의 메모리가 거대하고 무한한 화이트보드라고 상상해 보세요.

1. 기존 방식: 연결을 찾기 위해 AI는 현재의 단어로부터 화이트보드 위의 모든 과거 단어 쌍에 선을 그려야 했습니다. 화이트보드에 1,000개의 단어가 있다면, 백만 개의 선을 그려야 합니다.
2. 새로운 방식 (LinSimp): 저자들은 다른 전략을 제-안합니다. 그들은 "현재의 단어"와 "최근의 앵커 단어"(방금 말한 마지막 몇 단어 같은 것)를 가져와서 이들을 섞어 특별한 "복합 키(composite key)"를 만듭니다. 그런 다음 마법 같은 "랜덤 피처(random feature)" 필터를 사용하여 이 키를 전체 과거 화이트보드의 요약본 위로 투영합니다. 이를 통해 AI는 모든 선을 그리지 않고도 전체 역사와의 연결을 즉각적으로 "느낄" 수 있습니다.

이 방법을 사용함으로써, 이야기를 처리하는 비용은 선형적으로 증가합니다. 이야기가 두 배로 길어지면, 기존 방식처럼 네 배가 되는 것이 아니라 작업량도 두 배만 늘어납니다. 그들은 전체 과거를 고정된 크기의 "상태(state)"(압축된 요약 노트와 같은 것)에 저장하고, 검색을 미세 조정하기 위해 가장 최근의 64개 단어만을 상세한 "앵커 윈도우(anchor window)"로 유지합니다.

연구 결과 및 신뢰도

연구팀은 이 새로운 LinSimp 레이어를 구축하고, "Kimi Delta Attention(KDA)"이라 불리는 또 다른 고급 기술과 결려 결합했습니다. 이 "노-소프트맥스(no-softmax)" 모델(즉, 전통적이고 느린 어텐션 방식을 전혀 사용하지 않는 모델)을 표준 모델 및 다른 실험적 모델들과 비교 테스트했습니다.

그들의 결과는 이 새로운 접근 방식이 매우 효과적임을 시사합니다. 16,000단어의 컨텍스트(매우 긴 이야기)를 포함하는 테스트에서, 이 모델은 여전히 일부 느린 어텐션을 사용하는 하이브리드 모델에 비해 다양한 추론 작업에서 평균 정확도를 0.0079 개선했습니다. 더욱 인상적인 것은, LAMBADA 테스트에서 "퍼플렉시티(perplexity, 모델이 얼마나 혼란스러워하는지를 나타내는 척도)"를 715.6에서 602.6으로 낮췄다는 점입니다. 이는 모델이 길고 복잡한 문장에서 다음 단어를 예측하는 능력이 현저히 향상되었음을 의미합니다.

하지만 저자들은 자신들의 주장에 대해 신중한 태도를 취하고 있습니다. 그들은 자신들의 커스텀 컴퓨터 코드(이를 "커널(kernels)"이라 부름)가 아직 "기능 구현 우선 단계(functional first implementation)"라고 언급했습니다. 즉, 빠르게 작동하긴 하지만, 아직 성숙한 표준 어텐션 코드만큼 빠르지는 않다는 것입니다. 또한 실험에 단 하나의 "시드(seed, 무작위성의 시작점)"를 사용했기 때문에, 아직 통계적 신뢰 구간을 제공할 수는 없다고 밝혔습니다. 그들은 결과가 유망하며 모델이 비교된 아키텍처들 중 가장 높은 평균 정확도를 달este했다 하더라도, 모델이 훨씬 더 큰 규모로 어떻게 확장되는지 완전히 이해하기 위해서는 더 많은 연구가 필요하다고 제안했습니다.

결론

이 논문은 메모리 문제를 영원히 해결했다고 주장하는 것이 아니라, 매우 강력한 새로운 도구를 제시하고 있습니다. 과거의 전역적 요약과 최근의 국소적 관찰을 결합함으로써, 빠르면서도 깊은 삼자 간 추론이 가능한 AI 모델을 구축할 수 있음을 보여줍니다. 저자들은 전체 이야기를 기억하는 것과 빠르게 처리하는 것 사이에서 하나를 선택할 필요가 없음을 보여줍니다. 적절한 수학적 트릭이 있다면 두 가지 모두 가질 수 있습니다. 커스텀 코드의 속도는 여전히 개선의 여지가 있지만, 정확도 향상은 이것이 롱 컨텍스트(long-context) AI의 미래를 위한 유망한 방향임을 시사합니다.