거대하고 매우 똑똑한 로봇의 뇌가 어떻게 작동하는지 이해하려고 노력한다고 상상해 보세요. 이 뇌는 '신경망'이라고 불리며, 우리처럼 단어로 생각하지 않습니다. 대신 '활성화(activations)'라고 불리는 보이지 않는 숫자 구름으로 생각합니다. 오랫동안 과학자들은 이 숫자 구름을 들여다보며 로봇이 실제로 무엇에 대해 생각하고 있는지 알아내려고 노력해 왔습니다. 어떤 연구자들은 이 숫자 구름들을 모아놓은 거대하고 비싼 도서관을 만들고, 이를 암기하여 설명할 수 있는 새로운 전문 로봇을 훈련시키려 했습니다. 다른 이들은 훈련 없이도 패턴을 찾아내는 돋보기를 사용하는 것과 같은 더 단순한 기술을 시도했습니다. 모두가 던지는 큰 질문은 이것입니다. 우리는 뇌를 이해하기 위해 정말로 그 비싼 훈련된 도서관들을 구축해야 할까요? 아니면 그 '똑똑한' 훈련된 로봇들이 실제로 무언가를 발견하는 것이 아니라, 이미 암기한 책에서 답을 찾아내는 데 아주 능숙할 뿐인 걸까요?
"Retrieval is Enough(검색만으로 충분하다)"라는 제목의 이 논문은 비싼 도서관을 구축하지 않고도 로봇의 뇌를 들여다볼 수 있는 영리한 새로운 방법을 제안합니다. 저자들은 HARP(가설 기반 에이전트 검색 및 프로빙)라고 불리는 도구를 만들었습니다. HARP를 수년간 공부하여 내용을 익혀야 하는 학생이 아니라, 마법의 전화번호부를 가진 초스마트 탐정이라고 생각해 보세요. 이 전화번호부에는 로봇의 생각과 그 생각을 일으킨 문장이 쌍으로 짝지어진 수백만 개의 사례가 들어 있습니다. HARP가 특정 생각이 무엇을 의미하는지 알고 싶을 때, 그것은 추측하지 않습니다. 대신 전화번호부에서 유사한 생각을 찾아내고, 주변 문장들을 읽으며 패턴을 파악합니다. 그런 다음 간단한 수학 도구를 사용하여 그 패턴을 생각에서 '빼버림'으로써 무엇이 남는지 확인하며, 모든 의미의 층위가 벗겨질 때까지 이 과정을 반복합니다.
논문은 이 "전화번호부를 가진 탐정"이 놀라울 정도로 강력하다는 사실을 밝혀냈습니다. 실제로 HARP는 비싼 훈련된 로봇들보다 신경망의 활성화 안에 숨겨진 개념들을 발견하는 데 더 뛰어난 성능을 보이는 경우가 많습니다. 과제가 문단의 주요 주제를 파악하는 것이든, 특정 숨겨진 아이디어를 포착하는 것이든, 혹은 모델을 속여 훈련 과정에서 숨기도록 설정된 비밀 단어를 드러내게 하는 것이든, HARP는 무거운 전문 훈련 방식만큼, 혹은 때로는 그보다 더 잘 수행합니다. 저자들은 우리가 값비싼 훈련을 통해 얻었다고 생각했던 많은 "통찰"이 사실은 시스템이 훈련 중에 보았던 패턴을 검색하고 재조합한 결과일 뿐, 깊고 새로운 비밀을 풀어낸 것이 아닐 수도 있다고 시사합니다. 단순하고 훈련이 필요 없는 검색 시스템이 그 역할을 수행할 수 있음을 보여줌으로써, 이 논문은 잘 정리된 사례 데이터베이스에서 답을 찾아낼 수 있다면 복잡한 해석기를 훈련시키는 데 그토록 많은 시간과 비용을 들일 필요가 없을지도 모른다고 주장합니다.
기술 요약: Retrieval is Enough: 도구 사용 에이전트를 이용한 훈련 없는 해석 가능성 연구
문제 정의
신경망 해석 가능성(interpretability) 분야는 점차 희소 오토인코더(Sparse Autoencoders, SAEs)나 활성화 오라클(Activation Oracles)과 같은 훈련 기반 방법론으로 이동하고 있습니다. 이러한 방법들은 특징(feature)의 사전(dictionary)을 학습하기 위해 대규모 훈련 데이터셋에 의존하거나, 활성화 벡터를 언어화하도록 LLM을 미세 조정합니다. 지배적인 가정은 이러한 학습된 시스템들이 단순한 검색(retrieval)과 고전적 선형 대수를 통해 훈련 데이터로부터 직접 추출할 수 있는 것 이상의 통찰력을 제공한다는 것입니다.
본 논문은 이러한 가정에 도전하며 다음과 같은 핵심 질문을 던집니다: 훈련 기반 방법론이 훈련 데이터로부터 검색과 도구를 통해 회복 가능한 수준을 넘어서는 통찰력을 실제로 제시하는가? 저자들은 현재의 훈련 기반 방법론이 주로 활성화-컨텍스트 쌍을 고정된 사전이나 미세 조정된 모델로 압축하는 "손실이 있는 데이터베이스(lossy databases)"로서 기능하며, 이로 인해 재학습 없이는 원본 코퍼스에 잘 표현되지 않은 개념을 발견하는 능력을 상실할 수 있다고 가설을 세웠습니다.
방법론: HARP
이 가설을 검증하기 위해 저자들은 HARP(Hypothesis-driven Agentic Retrieval and Probing)를 제안합니다. 이는 활성화 벡터를 해석하기 위한 훈련이 필요 없는 에이전트 기반 파이프라인입니다.
핵심 구성 요소
벡터 데이터베이스 구축:
일반적인 코퍼스(The Pile의 일부)에서 추출된 활성화 값과 그에 대응하는 텍스트 컨텍스트를 쌍으로 추출합니다.
각 토큰 위치에 대해 잔차 스트림(residual-stream) 활성화와 주변 텍스트 윈도우를 기록합니다.
내용과 무관한 분산을 제거하기 위해 활성화 값의 편향을 교정(평균 차감)합니다.
근사 내부 곱 검색(approximate inner-product search)을 사용하는 Milvus를 사용하여 데이터베이스를 인덱싱합니다.
에이전트 루프(The Agentic Loop):
HARP는 특정 선형 대수 연산 및 데이터베이스 검색 도구를 갖춘 LLM 에이전트(gpt-4o-mini 사용)를 운용합니다.
검색(Retrieval): 에이전트는 일반적인 이웃들을 피하기 위해 상위 주성분을 투영하여 제거한 후, 타겟 활성화의 상위-k 근접 이웃을 쿼리합니다.
개념 구축(Concept Construction): 에이전트는 이 테마를 나타내는 "개념 벡터"를 구축합니다. 이는 difference_of_means(양의 벡터 평균에서 영 벡터 또는 음의 샘플 차감) 또는 subspace_projection(벡터 클러스터에 주성분을 적합)을 통해 수행됩니다.
검증 및 반복(Verification & Iteration): 구축된 개념 벡터를 원래의 타겟 활성화에서 투영하여 제거합니다. 그 후 에이전트는 잔차 벡터를 사용하여 데이터베이스를 재쿼리합니다. 만약 원래의 테마가 상위-k 결과에서 사라지면 해당 개념이 수용됩니다. 이 과정은 잔차에 대해 반복되어 단일 활성화 내의 여러 뚜렷한 개념을 "벗겨내듯(peel back)" 발견합니다.
도구 모음(Toolset):
query_vector_db: 유사한 활성화를 검색합니다.
get_activations: 에이전트가 작성한 프로브 텍스트를 모델에 실행하여 표적화된 부정 예시(negative examples)를 생성합니다.
difference_of_means / subspace_projection: 개념 방향 또는 부분 공간을 구축합니다.
project_out: 식별된 개념을 제거합니다.
check_reconstruction / dot_product: 검증을 위한 진단 도구입니다.
기술(Skills):
에이전트의 행동은 특정 작업(예: discover_concepts, elicit_secrets, detect_specific_concept)에 맞춤화된 경량 "기술"(고수준 지침)에 의해 유도됩니다. 이를 통해 HARP는 재학습 없이도 다양한 작업에 맞춰 재용도가 가능합니다.
주요 기여
해석 가능성의 재정의: 본 논문은 훈련 기반 방법론이 훈련 데이터의 손실 압축체로 작용할 수 있는 반면, 검색 기반 접근 방식은 선형 도구와 결 함께 고정된 훈련 세트의 경직성 없이도 대등하거나 더 우수한 성능을 낼 수 있다고 주장합니다.
HARP 시스템: 벡터 검색과 선형 대수 조작을 결합하여 개념을 발견, 탐지 및 조종할 수 있는 모듈형의 훈련이 필요 없는 에이전트를 소개합니다.
실증적 증거: 네 가지 서로 다른 해석 가능성 작업에서 HARP가 SAE 및 활성화 오라클의 성능을 대등하게 달성하거나 능가함을 입증했습니다.
유연성 및 비용: HARP는 SAE와 오라클에는 없는 기능인, 재학습 없이 온디맨드로 데이터셋을 확장(새로운 문서 인덱싱)할 수 있는 능력을 강조합니다.
실험 결과
저자들은 gemma-2-9b 모델에 대해 사전 학습된 SAE(gemma-scope-9b-pt-res) 및 활성화 오라클(Gemma-2-9B-IT 미세 조정 모델)을 대상으로 HARP를 평가했습니다.
비지도 개념 발견(Unsupervised Concept Discovery):
작업: BILLS(입법 요약) 및 WIKI 데이터셋의 활성화 벡터에서 주요 개념 식별.
지표: 커버리지(ground-truth 개념 중 발견된 비율) 및 중요도(개념의 특이성).
결과: HARP는 커버리지(SAE 대비 1.9배, Oracle 대비 1.6배 이득)와 중요도 측면에서 두 베이스라인을 모두 능가했습니다. 결정적으로, HARP의 반복적인 "투영 제거(project-out)" 루프는 중복을 방지하는 반면, 오라클은 자주 동일한 테마를 반복하는 경향을 보였습니다.
사례 연구: 초기 코퍼스에 법률 문서가 부족했음에도 불구하고, HARP는 소량의 법률 텍스트를 인덱싱하는 것만으로 성능을 회복했습니다. SAE와 오라클은 재학습 없이는 적응할 수 없었습니다.
개념 탐지 및 조종(Concept Detection and Steering):
작업: 특정 개념(AXBENCH 벤치마크의 개념들)을 탐지하고 모델이 해당 개념을 포함하는 텍스트를 생성하도록 조종.
지표: 탐지에는 ROC-AUC, 조종 품질에는 LM-judge 점수 사용.
결과: HARP는 평균 AUC 0.892를 달 기록했습니다(Oracle 0.877, SAE 0.704 대비). "하드 네거티브"(개념과 밀접하게 관련된 방해 요소)에 대해 HARP는 오라클(0지 0.856 vs 0.756)을 크게 앞질렀는데, 이는 오라클이 표면적인 단서에 의존함을 시사합니다. 조종 작업에서도 HARP는 SAE(LM-judge 점수 0.02)보다 큰 폭으로 우수한 성능을 보였습니다(0.20).
비밀 추출(Secret Elicitation):
작업: 비밀 단어나 사용자 성별을 말하지 않도록 훈련된 미세 조정 모델에서 숨겨진 속성을 회복.
결과:
비밀 단어: 오라클은 LatentQA 스타일의 질문에 대한 훈련 덕분에 앞서지만(80% 정확도), HARP는 단 한 번의 최근접 이웃 검색만으로도 그 격차를 크게 좁혔습니다(73%). 이는 오라클의 이점이 주로 검색 능력에 기인함을 시사합니다.
성별: HARP는 정밀한 대비 쌍(contrast-pair) 프로브를 구축함으로써 오라클(94% vs 91% 정확도)을 능가하며, 숨겨진 속성이 저차원 방향에 대응할 때 더 우수한 성능을 보여주었습니다.
의의 및 주장
본 논문은 검색(retrieval)이 해석 가능성 작업에 종종 충분하다고 결론짓습니다. 결과는 현재의 훈련 기반 방법론이 단순한 검색과 고전적 선형 도구를 통해 훈련 데이터로부터 얻을 수 있는 것 이상의 통찰력을 끌어내지 못하고 있음을 시사합니다.
하한선 vs 상한선: 저자들은 자신의 결과를 검색이 달성할 수 있는 하한선으로 설정하며, 이는 훈련 기반 방법론이 그 복잡성과 비용을 정당화하기 위해서는 순수 검색을 넘어서는 통찰력을 보여주어야 함을 의미합니다.
모듈성: HARP의 설계는 데이터셋, 에이전트, 도구 모음을 독립적으로 교체하거나 확장할 수 있게 하여, 훈련 기반 방법론이 갖지 못한 유연성을 제공합니다.
향후 방향: 이 연구는 단순한 검색을 통해 회복할 수 없는 통찰력을 명시적으로 요구하는 벤치마크를 구축하도록 독려하며, 이를 통해 해석 가능성 분야가 단순히 기존 데이터를 압축하는 것을 넘어 진정으로 새로운 표현을 학습하는 방법론으로 나아가도록 촉구합니다.
저자들은 코드를 https://github.com/SriramB-98/HARP에 공개하였습니다.