Does Episodic Memory Help Close the Lexical Frequency Gap in Sensitivity to Syntactic Contrasts? A Test Using Retrieval-Augmented Language Models

인간의 언어는 우리가 문법 규칙과 말하고자 하는 특정 단어를 끊임없이 조율하는 거대하고 복잡한 체계입니다. 수십 년 동안 과학자들은 우리의 뇌가 이 균형을 어떻게 관리하는지에 대해 논쟁해 왔습니다. 우리는 사람들이 드물거나 생소한 단어가 포함된 복잡한 문장도 이해할 수 있다는 점을 알고 있으며, 이는 우리의 문법 지식이 특정 단어를 얼마나 자주 접하느냐에 따라 쉽게 흔들리지 않을 만큼 견고하다는 것을 시사합니다. 그러나 인간의 언어를 모방하도록 설계된 인공지학 시스템은 이와 동일한 과제에서 어려움을 겪어 왔습니다. 방대한 양의 텍스트를 읽으며 학습하는 이 컴퓨터 모델들은, 훈련 과정에서 아주 적게 본 단어들이 포함된 문장의 문법을 판단하라는 요청을 받으면 종종 실수를 저지르곤 합니다. 이 모델들은 단어가 어떻게 결합되는지를 규정하는 구조적 규칙보다는, 그 단어가 얼마나 친숙한지에 너무 과하게 의존하는 것처럼 보입니다. 이러한 인간의 회복력과 기계의 취약성 사이의 간극은 근본적인 질문을 던집니다. 무엇이 인간으로 하여금 생소하고 낯선 것을 이토록 손쉽게 다룰 수 있게 만드는가?

신경과학의 주요 이론 중 하나인 '상보적 학습 시스템(Complementary Learning Systems)' 이론은 이에 대한 설득력 있는 설명을 제공합니다. 이 이론은 인간의 뇌가 협력하여 작동하는 두 가지 별개의 기억 시스템을 사용한다고 제안합니다. 하나는 신피질에 위치하며, 언어의 일반적인 리듬을 배우는 것과 유사하게 경험으로부터 일반적인 통계적 패턴을 천천히 흡수합니다. 다른 하나는 해마를 중심으로 하며, 개별적인 경험을 매우 상세하게 저장하는 급속한 기록 장치 역할을 합니다. 우리가 드물거나 새로운 것을 접할 때, 이 빠른 시스템은 현재 상황과 일치하는 과거의 특정 경험을 즉각적으로 검색하여, 느리고 일반적인 학습이 따라잡기를 기다리지 않고도 상황을 이해할 수 있게 해줍니다. 연구자들은 오랫동안 이 일화적 기억(episodic memory) 시스템이 왜 인간이 단어가 흔하지 않을 때도 문법에 민감성을 유지하는지에 대한 열쇠인지 궁금해해 왔습니다. 이 아이디어를 테스트하기 위해, 최근 한 과학자 팀은 이 두 부분으로 된 기억 시스템을 모방한 컴퓨터 모델을 구축하고 이를 시험대에 올렸습니다.

연구진은 언어 모델에게 과거의 구체적인 사례를 기억하고 검색하는 방법을 알려주는 것이 모델이 흔한 단어에 치우친 편향을 극복하는 데 도움이 될지 알아보고자 했습니다. 그들은 '검색 증강(retrieval augmentation)'이라는 기술을 사용했는데, 이는 디지털 버전의 해마 기억 시스템과 같은 기능을 합니다. 이 설정에서 주 언어 모델은 단어가 보통 어떻게 결합되는지에 대한 일반적인 지식을 보유한 '느린 학습자' 역할을 합니다. 여기에 부착된 거대한 외부 데이터베이스는 모델이 본 모든 문장과 그 문장이 나타났던 구체적인 맥락을 함께 저장합니다. 모델이 새로운 문장을 마주했을 때, 내부 기억에만 의존하는 대신, 이 데이터베이스를 즉시 검색하여 유사한 과거 사례를 찾아내고 이를 바탕으로 결정을 내릴 수 있습니다. 이 과정은 모델이 일반적인 지식이 부족할 때 구체적이고 실제적인 기억에 의서할 수 있게 하며, 이는 마치 인간이 까다로운 문법 구조를 파악하기 위해 특정 대화를 떠올리는 방식과 유사합니다.

연구팀은 세 가지 유형의 문법 퍼즐, 즉 주어-동사 일치, "who" 또는 "what"으로 시작하는 의문문, 그리고 복잡한 관계절을 사용하여 이 접근 방식을 테스트했습니다. 그들은 훈련 데이터에 빈번하게 등장하는 단어와 매우 드물게 등장하는 단어를 섞어 테스트 문장을 만들었습니다. 예상대로, 기억 보조 장치가 없는 표준 모델은 흔한 단어가 포함된 문장에서는 잘 수행했지만, 단어가 희귀해지면 크게 어려움을 겪었습니다. 성능의 격차는 명확했습니다. 단어가 덜 익숙해질수록 모델의 문법 판단 능력은 급격히 떨어졌습니다. 그러나 연구진이 검색 시스템을 활성화했을 때 결과는 달라졌습니다. 과거의 사례를 찾아볼 수 있는 모델은 희귀한 단어를 처리하는 데 있어 뚜ட்ப한 개선을 보였습니다. 흔한 단어와 흔하지 않은 단어 사이의 성능 격차가 상당히 좁혀졌으며, 이는 구체적인 기억을 끌어오는 능력이 일반적인 친숙함의 부족을 보완하는 데 실제로 도움이 된다는 것을 시사합니다.

하지만 이야기는 완벽한 해결책으로 끝나지 않습니다. 기억 보조 장치가 도움이 되긴 했지만, 문제를 완전히 없애지는 못했습니다. 과거 사례를 검색할 수 있음에도 불구하고, 모델은 여전히 희귀한 단어에 대해 흔한 단어보다 약간 더 낮은 성능을 보였습니다. 연구진은 이 기억 시스템의 성공 여부가 어떤 종류의 정보를 검색하느냐에 크게 달려 있다는 것을 발견했습니다. 시스템이 단어의 문법적 구조를 무시하고 일반적인 의미만을 보도록 강제되었을 때, 그것은 거의 아무런 도움이 되지 않았습니다. 검색은 시스템이 해결하려는 문장의 구체적인 문법적 형태와 일치하는 사례를 찾을 수 있을 때만 효과적이었습니다. 이는 이러한 종류의 기억이 유용하려면 단순히 의미론적 유사성이 아니라 구조적 패턴을 인식하고 회상할 수 있어야 함을 나타냅니다. 또한, 연구진은 이 기억 시스템을 설정하는 단 하나의 '최선의' 방법은 없다는 것을 발견했습니다. 검색할 사례의 수와 컨텍스트 윈도우(context window)의 크기는 특정 문법 퍼즐과 과제의 복잡성에 따라 달랐으며, 이는 고정된 규칙보다는 유연하고 적응적인 접근 방식이 필요함을 시사합니다.

이 연구 결과는 일화적 기억이 언어 처리에서 결정적인 역할을 한다는 개념에 대한 강력한 개념 증명을 제공합니다. 컴퓨터 모델이 구체적인 과거 경험을 검색하는 메커니즘을 추가함으로써 단어 빈도에 대한 견고성을 갖출 수 있음을 보여줌으로써, 이 연구는 인간의 뇌가 유사한 전략을 사용한다는 이론을 뒷받침합니다. 연구진은 이 기억 메커니즘이 강력하기는 하지만 만능 해결책은 아니라고 결론지었습니다. 기계와 인간의 성능 차이를 완전히 좁히기 위해서, 미래의 시스템은 적절한 구조적 일치를 식별하고, 서로 다른 기억의 중요도를 가중치로 두며, 특정 요구 사항에 맞춰 검색 전략을 조정하는 능력을 더 발전시켜야 할 것입니다. 이 작업은 구체적인 사례를 기억하는 능력이 비록 아직 더 날카롭게 다듬어야 할 부분이 남아 있을지라도, 언어의 복잡성을 탐색하는 데 필수적인 도구임을 확인시켜 줍니다.