Semantic Space Search Trajectory Networks

당신이 로봇에게 고양이를 인식하는 법을 가르치려 한다고 상상해 보십시오. 당신은 로봇에게 수천 장의 사진을 보여주고, 로봇은 추측을 시작합니다. 하지만 로봇은 실제로 어떻게 학습하는 것일까요? 그저 어둠 속에서 눈을 감고 더듬거리며 헤매는 것일까요, 아니면 숨겨진 지도를 따라가는 것일까요? 수십 년 동안 과학자들은 로봇의 "두뇌"(내부의 숫자와 가중치)를 들여다봄으로써 이 질문에 답하려 노력해 왔습니다. 하지만 그것은 오케스트라가 연주하는 동안 단 한 명의 바이올리니스트의 악보만 뚫어지게 쳐다보며 교향곡을 이해하려는 것과 같습니다. 이는 혼란스럽고 무질서하며, 전체적인 그림을 놓치게 만듭니다.

이를 이해하기 위해 연구자들은 **탐색 궤적 네트워크(Search Trajectory Network, STN)**라는 도구를 사용합니다. STN을 학습 과정의 지하철 노선도라고 생각하십시오. 로봇이 취하는 아주 작은 단계 하나하나를 추적하는 대신, 유사한 순간들을 하나의 "역"(노드)으로 묶고, 로봇이 한 역에서 다음 역으로 어떻게 이동하는지를 보여주는 선(에지)을 그립니다. 이를 통해 우리는 로봇이 정답을 향해 고속도로를 달리고 있는지, 아니면 미로 속에서 길을 잃고 있는지 확인할 수 있습니다. 문제는 전통적인 지하철 노선도는 단순하고 저차원적인 문제에서만 작동한다는 점입니다. 로봇이 복잡해지면(현대의 AI처럼), 지도가 너무 붐비고 고차원이 되어 선들이 모두 뭉개져 버려 읽는 것이 불가능해집니다.

여기서 **시맨틱 공간(Semantic Space)**이라는 개념이 등장합니다. 로봇의 내부 기어를 들여다보는 대신, 로봇이 무엇을 말하는지를 봅니다. 로봇이 고양이 사진을 보고 있을 때, "개"라고 말합니까? "고양이"라고 합니까? 아니면 "자동차"라고 합니까? 일련의 테스트 사진들에 걸쳐 나타나는 모든 추측의 집합은 하나의 "시맨틱 벡터"를 형성합니다. 이것은 로봇의 현재 이해도를 나타내는 지문과 같습니다. 로봇의 내부 기어가 아닌 이러한 지문을 통해 여정을 매핑함으로써, 우리는 가장 복잡한 AI에 대해서도 명확하고 읽기 쉬운 지도를 만들 수 있습니다. 이 논문은 다음과 같은 질문을 던집니다. 우리는 이 "지문 지도"를 사용하여 서로 다른 유형의 학습 알고리즘이 어떻게 생각하는지 비교할 수 있는가? 그리고 이 지도가 AI가 진정으로 학습하고 있는 것인지, 아니면 단순히 암기하고 있는 것인지를 알려줄 수 있는가?

---

이 논문의 핵심 아이디어: 기어박스가 아닌 여정을 매핑하기

저자인 줄리안 아구델로(Julian Agudelo)와 그의 팀은 **시맨틱 공간 탐색 궤적 네트워크(Semantic Space Search Trajectory Networks)**라고 불리는 새로운 방식의 지하철 지도를 만드는 방법을 소개합니다. 그들의 주요 목표는 다양한 머신러닝 알고리즘(신경망, 결정 트리, 심볼릭 회귀 등)이 문제를 해결할 때 어떻게 "생각"하는지 시각화하는 것입니다.

보통 신경망을 결정 트리와 비교하는 것은 레이싱 카와 자전거를 비교하는 것과 같습니다. 엔진과 부품이 다르기 때문에 누가 더 빠른지, 혹은 어떻게 경로를 찾아가는지 쉽게 나란히 놓고 비교할 수 없습니다. 하지만 저자들은 어떤 종류의 기계를 사용하더라도 결국 똑같은 것을 만들어낸다는 사실을 깨달았습니다. 그것은 바로 **예측(predictions)**입니다. 내부 메커니즘을 무시하고 오직 예측(시맨틱 벡터)에만 집중함으로써, 그들은 이 서로 다른 알고리즘들을 동일한 운동장 위에 올려놓을 수 있었습니다.

지도를 만드는 방법

연속적인 예측값을 읽기 쉬운 지도로 바꾸기 위해, 팀은 까다로운 문제를 해결해야 했습니다. 수백만 개의 데이터가 있을 때 어떻게 유사한 예측들을 그룹화할 것인가 하는 문제입니다.

1. 이산화 (숫자를 범주로 변환): 회귀 작업(집값과 같은 숫자를 예측하는 작업)의 경우, 특정 값이 얼마나 자주 나타나는지(분위수)를 기준으로 연속적인 답변 범위를 10개의 "빈(bin)"으로 나누었습니다. 분류 작업("고양이"나 "개" 같은 라벨을 맞히는 것)의 경우, 최종 라벨을 그대로 사용했습니다. 이를 통해 무질서하고 연속적인 데이터 구름을 뚜렷하고 셀 수 있는 범주들의 집합으로 변환했습니다.
2. 클러스터링 (역 그룹화): 그들은 응집형 클러스터링(agglomerative clustering) 기법을 사용했습니다. 모래알 더미(각 알갱이는 하나의 예측 상태)가 있다고 상상해 보십시오. 먼저 모든 모래알을 각각의 독립된 섬으로 취급합니다. 그런 다음, 가장 가까운 두 섬을 천천히 합쳐 나갑니다. 두 섬 사이의 거리가 너무 멀어질 때까지(임계값 $\tau$에 의해 제어됨) 가장 가까운 쌍들을 계속 합칩니다. 최종적으로 남은 섬들이 여러분의 지하철 지도에서 "역"이 됩니다.
3. 선 그리기: 알고리즘이 학습함에 따라, 예측 상태에서 다른 예측 상태로 이동합니다. 그들은 이러한 이동을 추적하고 해당 역들 사이에 화살표를 그렸습니다. 화살표가 굵을수록, 서로 다른 훈련 과정들이 해당 경로를 통과한 경우가 더 많다는 것을 의미합니다.

발견한 내용: "깔때기" vs "별 모양"

팀은 손글씨 숫자 인식(MNIST), 패션 아이템(Fashion-MNIST), 자동차 가격 예측을 포함한 여러 데이터셋을 통해 이 방법을 테스트했습니다. 그들은 세 가지 매우 다른 알고리즘, 즉 MLP(신경망), XGBoost(강력한 트리 기반 방식), 심볼릭 회귀(수학적 공식을 찾는 방식)를 비교했습니다.

발견:
실제 데이터(찾아야 할 진정한 패턴이 존재하는 데이터)에서 알고리즘이 학습할 때, 사용된 알고리즘에 관계없이 지도의 모습은 놀라울 정도로 유사했습니다. 그들은 "깔때기(funnel)" 형태를 띠었습니다.

• 깔때기: 여정은 다양한 시작점(무작위 초기 추측)에서 출발하지만, 경로는 빠르게 몇 개의 공통된 "고속도로"로 합쳐지며, 하나의 조밀한 "최적" 역 클러스터로 모여듭니다. 이는 실제 패턴을 학습할 때 서로 다른 알고리즘들이 동일한 중간 단계들을 발견하고 동일한 솔루션으로 수렴한다는 것을 시사합니다.
• 차이점: 전체적인 형태는 비슷했지만, "교통량"은 달랐습니다. 신경망은 특정 "끌림의 영역(basin of attraction)"에 갇혀서 정착하기 전까지 약간의 방황을 하는 듯 보였고, XGBoost는 정답을 향해 계속 조여가는 탐욕스러운 로봇처럼 더 직접적이었습니다. 반면, 심볼릭 회귀는 이질적이었습니다. 그것은 깔때기처럼 모이지 않았습니다. 대신 다양한 방향으로 지도를 탐색했으며, 하나의 경로로 수렴하는 경우가 드물었는데, 이는 공식을 찾기 위해 무작위로 탐색하는 그 특성을 반영합니다.

"암기 테스트": 지도가 부정행위를 밝혀낼 수 있는가?

이 논문의 가장 흥lı한 부분은 Zhang 등이 2017년에 발표한 유명한 실험에서 비롯됩니다. 이 실험은 신경망이 실제 데이터만큼이나 무작위 데이터를 "암기"할 수 있음을 보여주었습니다. 만약 라벨을 뒤섞으면(예: 고양이 사진을 "개"라고 알려줌), AI는 훈련 세트에서는 완벽하게 예측할 수 있지만, 새로운 데이터에 대해서는 처참하게 실패합니다. 이것이 바로 "암기(memorization)" 단계입니다.

저자들은 자신들의 시맨틱 공간 STN을 사용하여, 학습의 여정의 구조가 **학습(일반화)**과 **암기(무작위 추측)**를 구분할 수 있는지 확인했습니다.

• 실제 라벨 (학습): 지도는 조밀하고 효율적이며 중앙 집중적이었습니다. 마치 사람들이 모이는 중심 허브가 있는 번화한 도시와 같았습니다. 경로들이 서로 연결되어 있었으며, 이는 알고리즘이 구조적인 이해를 구축하고 있음을 시사합니다.
• 섞인 라벨 (암기): 지도는 "별(star)" 모양을 띠었습니다. 경로들은 고립되어 있고, 분절되어 있으며, 흩어져 있었습니다. 중앙 허브는 존재하지 않았습니다. 각 훈련 과정은 서로 만나지 못한 채 각자의 외로운 구석에 도달했습니다.

결론:
이 논문은 학습 여정의 구조가 진실을 드러낸다고 제안합니다. AI가 진정한 패턴을 학습하고 있다면 경로는 수렴하고 연결됩니다. 반면, 단순히 소음(noise)을 암기하고 있다면 경로는 고립됩니다. 저자들은 **전역 효율성(global efficiency)**과 밀도(density) 같은 그래프 지표를 사용하여 이를 측정했습니다. 예를 들어, "Bioresponse" 데이터셋에서 "실제 라벨" 지도의 밀도는 0.0157이었던 반면, "섞인 라벨" 지도는 0.0049로 훨씬 더 희소했습니다.

또한, 라벨의 20%, 40%, 최대 100%까지 무작위 노이즈로 서서히 오염시켰을 때 어떤 일이 일어나는지도 테스트했습니다. 데이터 오염이 증가함에 따라 "깔때기" 모양은 서서히 무너져 내려 "별" 모양으로 변했습니다. 전역 효율성과 같은 그래프 지표가 꾸준히 감소하며, 학습에서 암기로 넘어가는 매끄러운 전이를 보여주었습니다.

이것이 왜 중요한가

이 연구는 우리가 신경망의 내부를 들여다보지 않고도 그것이 학습하고 있는지 아니면 속이고 있는지를 이해할 수 있다는 점을 시사합니다. 우리는 단지 그 예측의 지도를 보면 됩니다. 만약 지도가 연결되고 효율적인 네트워크라면, 그 AI는 실재하는 무언가를 학습하고 있을 가능성이 높습니다. 만약 지도가 고립된 경로들의 흩어진 집합이라면, 그것은 단지 암기하고 있는 것일 뿐입니다.

저자들은 이것이 현상을 설명하는 시뮬레이션 기반 관찰이자 분석을 위한 질적 도구이지, 일반화의 미스터리를 해결하는 마법의 탄환은 아니라는 점을 주의 깊게 언급합니다. 그들은 이 방법이 기존 이론을 보완하는 새로운 행동적 관점을 제공한다고 제안합니다. 이것은 지능의 "모양"을 볼 수 있게 해주는 새로운 안경이며, 당신이 신경망이든 결정 트리든, 진실을 학습하고 있다면 당신의 여정은 똑같이 보일 것이라는 점을 보여줍니다.