Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
이 논문은 후속 홉(hop)의 답변이 중간 가교 엔티티보다 먼저 디코딩될 수 있는 '계층 순서 역전(layer-order inversion)'을 입증함으로써 LLM의 다중 홉 추론에 관한 지배적인 '홉 정렬(hop-aligned)' 가설에 이의를 제기하며, 광범위한 얕은 회상(shallow recall) 이후 선택적인 깊은 추출(deep extraction)을 통해 이 현상을 설명하는 '확률적 회상 및 추출(probabilistic recall-and-extract)' 프레임워크를 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
거대 언어 모델은 오늘날 가장 진보된 인공지능 시스템의 배후에 있는 디지털 지능입니다. 이들은 방대한 양의 텍스트를 학습하며, 문장에서 다음 단어를 놀라운 정확도로 예측하는 법을 배웁니다. 이러한 능력 덕분에 질문에 답하고, 이야기를 쓰고, 서로 다른 정보 조각들을 연결해야 하는 문제를 해결할 수 있습니다. 이 모델들이 수행하는 가장 인상적인 업적 중 하나는 다단계 추론(multi-hop reasoning)입니다. 이는 단 하나의 사실만으로는 해결할 수 없으며, 여러 지식 조각들을 사슬처럼 엮어야만 답을 낼 수 있는 질문에 답하는 과정을 말합니다. 예를 들어, "스테판 커리가 하는 스포츠의 기원은 어느 나라인가?"라는 질문에 답하기 위해, 모델은 먼저 해당 스포츠를 식별한 다음, 그 스포츠의 기원을 찾고, 마지막으로 이 두 사실을 결합하여 정답에 도달해야 합니다. 수년 동안 과학자들은 이 모델들이 마치 인간이 수학 문제를 한 번에 한 방정식씩 풀 듯이, 엄격하고 단계적인 내부 경로를 따르며 이러한 퍼즐을 해결한다고 믿었습니다. 그들은 모델이 먼저 중간 단계의 사실을 파악하여 저장한 다음, 이를 사용하여 최종 답을 찾아낼 것이라고 생각했습니다. 이러한 기계들이 정확히 어떻게 이러한 정신적 체조를 수행하는지 이해하는 것은, 단순히 지능을 향상시키는 것뿐만 아니라, 모델이 언제 그리고 왜 실패할 수 있는지 알기 위해서도 매우 중요합니다.
중국 과학기술대학교와 홍콩 과학기술대학교의 연구진은 이제 이 오래된 믿음에 도전했습니다. 거대 언어 모델의 내부 작동 방식을 들여다봄으로써, 그들은 이 시스템들이 이전에 가정되었던 질서 정연하고 단계적인 경로를 항상 따르는 것은 아니라는 사실을 발견했습니다. 대신, 그들은 '층 순서 역전(layer-order inversion)'이라 부르는 현상을 발견했습니다. 표준적인 단계별 과정에서는 모델이 최종 답을 도출하기 전에 중간 단계의 정보를 먼저 파악할 것으로 기대됩니다. 그러나 연구진은 많은 경우, 모델이 중간 단계들을 완전히 파악하기도 전에 이미 최종 답을 '알고 있는' 것처럼 보인다는 것을 관찰했습니다. 이는 질문이 더 복-잡해지고 추론의 고리에 더 많은 연결 고리가 포함될수록 더욱 뚜렷하게 나타납니다. 질문이 깊어질수록, 모델이 점들을 잇는 가교 역할을 하는 중간 사실들을 명시적으로 처리하기 전에 내부 메모리에 최종 답을 준비해 둘 가능성이 높아집니다.
이를 밝혀내기 위해 연구진은 모델의 내부 생각을 들여다보는 현미경 역할을 하는 '패치스콥스(Patchscopes)'라는 기술을 사용했습니다. 연구진은 최대 4단계의 추론이 필요한 복잡한 질문을 모델에 입력하고, 데이터가 모델의 층을 통과함에 따라 정보가 어떻게 나타나는지 관찰했습니다. 그들은 질문의 시작 부분(주어가 도입되는 곳)과 질문의 맨 끝 부분(모델이 답변을 생성하기 직전)이라는 두 가지 특정 지점을 살펴보았습니다. 연구진은 모델이 질문의 첫 단계를 시작 부분 근처에서 자주 처리한다는 것을 발견했지만, 최종 답은 예상보다 훨씬 일찍 모델의 내부 상태에 나타났으며, 때로는 중간 사실들이 완전히 형성되기도 전에 나타나기도 했습니다. 이는 각 단계가 완료되어야 다음 단계가 시작되는 엄격한 회로를 모델이 구축한다는 생각에 반하는 것입니다. 대신, 이는 모델이 논리적 경로를 완전히 구성하기 전에 마치 직관적인 느낌처럼 최종 답을 직접 회상할 수 있는, 더 유동적인 과정을 시사합니다.
연구진은 이러한 행동을 이해하기 위한 새로운 방식인 '확률적 회상 및 추출 프레임워크(probabilistic recall-and-extract framework)'를 제안합니다. 모델을 고정된 규칙을 따르는 엄격한 기계라기보다는, 정보가 확률에 기반하여 회상되는 거대한 도서관처럼 작동한다고 보는 것입니다. 이 관점에서 모델은 단순히 층을 따라 수직적으로 이동하며 한 번에 한 단계씩 해결하는 것이 아닙니다. 모델은 문장의 단어들을 가로질러 수평적으로도 이동합니다. 연구진은 모델의 얕은 층(문장 끝부분 근처)에서 최종 답에 대한 폭넓고 직관적인 회상이 일어난다는 것을 발견했습니다. 이 회상은 올바른 해결책을 가리키는 신호나 짐작처럼 작용합니다. 이 신호는 완성된 논리적 사슬의 결과가 아니라, 모델이 포착하는 직접적인 연관성입니다. 성능이 낮은 모델이나 매우 어려운 질문의 경우, 이 직관적인 신호가 더욱 지배적이 되어, 모델이 단계별로 추론을 완료하지 못했더라도 정답으로 인도하거나, 반대로 신호가 잘못되었을 경우 모델을 잘못된 길로 빠뜨리기도 합니다.
이 새로운 관점은 모델이 왜 때때로 혼란스러운 방식으로 성공하거나 실패하는지를 설명하는 데 도움이 됩니다. 모델이 다단계 질문에 정답을 맞혔다면, 이는 단계별 추론이 불완전하더라도 이 직관적인 신호가 충분히 강력하여 최종 답을 안내했기 때문일 수 있습니다. 반대로, 모델이 실패할 때는 단순히 사실이 부족해서가 아니라, 이 직관적인 신호를 통해 최종 답을 회상하지 못했거나 축적된 지식으로부터 올바른 정보를 추출하는 데 실패했기 때문인 경우가 많습니다. 이 연구는 모델이 복잡한 질문에 답하는 능력이 이러한 폭넓고 직관적인 회상과 더 집중적이고 깊은 특정 답의 추출 사이의 균형에 달려 있음을 보여줍니다. 이 발견은 인공지능의 내부 논리가 엄격한 조립 라인이라기보다는, 목적지가 경로를 다 걷기도 전에 미리 보일 수 있는 기억과 연상의 역동적인 과정에 가깝다는 것을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.