🤖 machine learning

Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions

이 논문은 무작위 초기화가 거의 확실하게 저민감도 문자열을 포함하는 함수를 계산하는 모델로 이어진다는 점을 입증함으로써, 민감한 함수들이 본질적으로 결여하고 있는 특성을 근거로 하여, PARITY와 같은 민감한 불리언 함수를 학습하는 데 트랜스포머가 실패하는 이유를 매개변수 공간에서 이러한 함수들이 소멸하는 데 가까운 아주 작은 영역을 차지한다는 점을 통해 설명한다.

원저자: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

트랜스포머(많은 현대적 챗봇의 기반이 되는 유형의 AI)를 조절 가능한 다이얼과 노브로 만들어진 거대하고 복잡한 미로라고 상상해 보십시오. 이 미로가 바로 "파라미터 공간(parameter space)"입니다. 우리가 트랜스포머를 훈련시킬 때, 우리는 본질적으로 특정 퍼즐을 해결하는 특정한 경로를 찾으려고 노력하는 것입니다. 예를 들어, 0과 1로 이루어진 문자열에 1이 짝수 개인지 홀수 개인지 판별하는 작업(PARITY라고 불리는 작업)을 해결하는 경로 말입니다.

이 논문은 단순하지만 심오한 질문을 던집니다: 미로 속에 경로가 존재한다는 사실이, 우리가 그 경로를 실제로 찾을 수 있다는 것을 의미할까요?

다음은 일상적인 비유를 사용한 연구 결과의 요약입니다:

1. "건초더미 속 바늘 찾기" 문제

저자들은 특정 까다로운 퍼즐(PARITY나, 오직 첫 번째 비트만을 신경 쓰는 "FIRST" 함수와 같은 경우)에 대해, 트랜스포머의 다이얼 설정값이 미로 속에서 극도로 작은 영역에 숨겨져 있다는 것을 발견했습니다.

비유: 파라미터 공간을 거대한 축구 경기장이라고 상상해 보십시오. "쉬운" 퍼즐들(0이 많은지 1이 많은지를 세는 MAJORITY와 같은 경우)의 솔루션 영역은 경기장 전체 크기만큼 넓습니다. 하지만 "어려운" 퍼즐들(PARITY와 같은 경우)의 솔루션 영역은 그 경기장에 묻힌 모래 한 알의 크기에 불과합니다.
결과: 우리가 트랜스포머를 훈련시킬 때, 우리는 보통 무작위의 지점(무작위 초기화)에서 시작합니다. 무작위로 그 모래 한 알 위에 착륙할 확률은 사실상 제로에 가깝습니다. 수학적으로 솔루션이 존재한다고 해도, 훈련 과정(마치 언덕을 올라가려는 등산객과 같은 과정)은 타겟이 너무 작아서 그곳을 거의 찾아낼 수 없습니다.

2. "민감도(Sensitivity)" 측정기

이러한 솔루션들을 찾기가 왜 그토록 어려운지 이해하기 위해, 저자들은 민감도라는 개념을 살펴보았습니다. 이는 입력값의 단 하나의 비트만 뒤집었을 때 답이 얼마나 변하는지를 측정합니다.

높은 민감도 (어려운 퍼즐): PARITY의 경우, 단 하나의 비트만 뒤집어도 답이 바뀝니다. 이는 방 안의 어떤 전선을 건드려도 불이 켜지거나 꺼지는 스위치와 같습니다. 논문에서는 이를 "민감한(sensitive)" 함수라고 부릅니다.
낮은 민감도 (쉬운 퍼즐): MAJORITY의 경우, 숫자가 완벽하게 동점인 상황이 아니라면 비트 하나를 뒤집어도 대개 답이 바뀌지 않습니다. 이는 선거에서 한 표의 추가가 승자를 바꾸는 경우가 드문 투표 시스템과 같습니다.

3. "저민감도 편향(Low-Sensitivity Bias)"

이 논문의 가장 큰 발견은 미로의 기하학적 구조에 관한 것입니다. 저자들은 만약 우리가 미로의 무작위 지점을 선택한다면(무작위로 초기화된 트랜스포머), 그 기계는 거의 확실히 "저민감도 편향"을 갖게 된다는 것을 발견했습니다.

메타포: 미로가 설계될 때, 대부분의 무작위 경로는 "뻣뻣하거나" "게으른" 기계로 이어지도록 되어 있습니다. 이 기계는 입력의 작은 변화를 무시합니다. 오직 입력이 크게 변할 때만 반응합니다.
결과: 미로가 이렇게 설계되어 있기 때문에, 무작위로 선택된 기계는 거의 항상 "안전 구역(safe zones, 비트를 뒤집어도 아무런 변화가 없는 입력값)"을 갖게 됩니다.
- MAJORITY는 이러한 안전 구역을 풍부하게 가지고 있습니다(지수적으로 많음). 따라서 기계는 이를 쉽게 학습할 수 있습니다.
- PARITY와 FIRST는 안전 구역이 전혀 없습니다. 모든 입력이 민감합니다.
- 충돌: 논문은 입력이 길어질 때, 무작위로 초기화된 트랜스포머는 반드시 어떤 안전 구역을 가져야만 한다는 것을 증명합니다. 따라서 트랜스포머가 PARITY나 FIRST를 학습하는 것은 수학적으로 불가능합니다. 기계의 "형태"가 그 퍼즐과 맞지 않기 때문입니다.

4. 훈련 후에는 어떻게 되는가?

여러분은 이렇게 생각할 수도 있습니다. "하지만 충분히 열심히 훈련하면, 그 바늘을 찾을 수 있지 않을까요?"

저자들은 실험을 수행했고, 훈련 후에도 "저민감도 편향"이 종종 지속된다는 것을 발견했습니다.

MAJORITY의 경우: 훈련은 광활한 솔루션의 들판을 성공적으로 찾아냅니다. 기계는 작업을 학습합니다.
PARITY의 경우: 훈련은 기계를 아주 작은 모래 한 알을 향해 밀어붙이려 하지만, 그 모래알이 너무 작기 때문에(측도-제로 집합, measure-zero set), 훈련은 대개 실패하거나 정체됩니다. 기계는 퍼즐의 진정한 논리를 결코 완전히 배우지 못합니다.

요약된 "규칙"

이 논문은 입력 문자열의 길이( $N$ )에 기반한 명확한 규칙을 확립합니다:

함수가 "안전한" 입력(비트를 뒤집어도 답이 바뀌지 않는 입력)을 매우 적게 가진다면(PARITY나 FIRST처럼), 트랜스포뮬러는 입력이 길어짐에 따라 이를 증명 가능하게 학습에 실패할 것입니다. 솔루션이 너무 작아 찾을 수 없기 때문입니다.
함수가 많은 "안한" 입력을 가진다면(MAJORITY처럼), 트랜스포머는 우연히 발견하고 훈련을 통해 정교화할 수 있는 충분히 큰 솔루션 영역을 가지므로 이를 학습할 수 있습니다.

요약하자면: 이 논문은 트랜스포머가 단순히 특정 작업에 "서툰" 것이 아니라, 구조적으로 그 작업들에 대해 편향되어 있음을 설명합니다. 그들의 학습 지형은 "민감한" 작업들을 위한 봉우리는 너무 작아서 무작위 탐색으로는 보이지 않는 반면, "강건한(robust)" 작업들을 위한 봉우리는 넓고 오르기 쉬운 산맥의 형태를 띠고 있습니다.

기술 요약: 불리언 함수를 인코딩하는 트랜스포머의 파라미터 공간 기하학에 대한 이해

문제 정의
트랜스포머는 특정 함수를 계산할 수 있는 파라미터 설정의 존재성인 *표현력(expressivity)*과, 최적화 알고리즘이 해당 설정을 찾아낼 수 있는 능력인 학습 가능성(learnability) 사이의 잘 알려진 간극을 보입니다. 이론적 연구를 통해 트랜스포머가 특정 불리언 함수를 표현할 수 있음이 입증되었으나, 경험적 증거에 따르면 트랜스포머는 민감한 함수(단일 입력 비트를 반전시켰을 때 출력이 변할 가능성이 높은 함수)를 일관되게 학습하지 못합니다. PARITY 함수가 대표적인 예입니다. 선행 연구들은 이를 낮은 *평균 민감도(average sensitivity)*를 가진 함수로 향하는 편향의 문제로 돌렸으나, 민감도와 파라미터 공간의 기하학적 구조를 연결하는 정확한 메커니즘은 여전히 불분명합니다. 구체적으로, 민감한 함수의 학습 불가능성이 이들이 파라미터 공간에서 소멸하는 부피(vanishingly small volume)를 차지하기 때문에 발생하는 것인지, 즉 무작위 초기화나 경사 하강법 기반 최적화에 의해 발견될 가능성이 희박하기 때문인지 여부는 알려져 있지 않습니다.

방법론
저자들은 이진 알파벳에 대한 불리언 함수를 인코딩하는 소프트 어텐션(soft-attention) 트랜스포머의 파라미터 공간 $\Theta$ 의 기하학을 분석합니다. 분석은 정규화 항의 분모에 있는 레이어 노름(layer-norm) 안정화 상수 $\epsilon$ 에 따라 두 가지 경우로 나뉩니다.

$\epsilon > 0$ 인 경우: 저자들은 $\epsilon$ 이 0에서 멀리 떨어져 있을 때, 트랜스포머가 파라미터에 대해 균등 리프시츠 연속(uniformly Lipschitz continuous)임을 먼저 입증합니다. 이러한 균등 안정성은 누적된 "블로우업(blowup, 증폭)"(입력 변화의 증폭)이 입력 길이 $N$ 에 독립적으로 제한됨을 의미합니다. 결과적으로, 충분히 큰 $N$ 에 대해 단일 비트를 반전시키는 것의 영향은 사라집니다( $O(1/N)$ ). 이는 인식 가능한 불리언 함수의 수가 $N$ 에 독립적인 상수로 제한된다는 패킹 논증(packing argument)으로 이어지며, 비상수(non-constant) 불리언 함수는 점근적으로 인식 불가능하게 됩니다.
$\epsilon = 0$ 인 경우: 이것이 본 논문의 주요 초점입니다. 여기서 레이어 노름 분모는 0에 접근할 수 있으며, 이는 무제한적인 블로우업을 유발할 수 있습니다. 저자들은 무작위로 초기화된 트랜스포머가 특정 민감도 특성을 가진 함수를 계산할 확률을 분석하기 위해 측도론적 프레임워크(measure-theoretic framework)를 개발합니다.
- 민감도 프로필(Sensitivity Profile): 저자들은 단순히 평균 민감도에만 의존하는 대신, 모든 입력 문자열에 걸친 민감도 값의 분포로 정의되는 민감도 프로필을 도입합니다.
- 블로우업 분석(Blowup Analysis): 저자들은 레이어 노름 입력의 분산이 너무 작아지지 않는 한, 파라미터의 무작위 섭동(perturbation)에 대해 블로우업이 높은 확률로 유계(bounded)임을 증명합니다.
- 측도론적 논증: 파라미터 공간을 작은 큐브들로 덮고 각 큐브 내에서의 블로우업에 대한 확률적 경계(probabilistic bounds)를 적용함으로써, 전체 파라미터 공간에 대한 결과를 확장합니다. 저자들은 충분히 큰 모든 입력 길이에 대해 이 결과들을 집계하기 위해 제1 보렐-칸텔리 정리(first Borel–Cantelli lemma)를 활용합니다.

주요 기여 및 결과

측도 제로의 학습 불가능성(Measure-Zero Unlearnability): 핵심적인 이론적 결과(정리 4.5)는 충분히 큰 입력 길이 $N$ 에 대해, 무작위로 초기화된 트랜스포머가 거의 확실하게(almost surely) 상당한 수의 민감도 0인 문자열을 갖는 함수를 계산함을 증명합니다(구체적으로 최소 $N^{\frac{D-1}{2L} - 5}$ 개의 문자열).
민감도 프로필 제약: 결과적으로, 민감도 0인 문자열이 없는 불리언 함수(즉, 모든 입력이 0이 아닌 민감도를 갖는 함수)는 파라미터 공간에서 르베그 측도(Lebesgue-measure)가 0인 부분 집합을 차지합니다.
특정 함수의 학습 불가능성: 위 결과를 바탕으로, 저자들은 PARITY, m-SPARSE PARITY, 그리고 DICTATOR( FIRST 포함) 함수가 큰 $N$ 에 대해 무작위 초기화된 트랜스포머에 의해 학습 불가능함이 증명됨을 보여줍니다. 이 함수들은 최소 민감도가 $\ge 1$ (또는 스파스 변형의 경우 $m$ )이며, 이는 민감도 0인 문자열이 전혀 없음을 의미합니다.
평균 민감도와의 구별: 분석 결과 평균 민감도만으로는 학습 가능성을 예측하기에 불충분하다는 것이 드러났습니다. 예를 들어, FIRST 함수는 낮은 평균 민감도(1과 동일)를 가지지만, 민감도 0인 문자열이 없기 때문에 큰 $N$ 에 대해 학습 불가능합니다. 반대로, MAJORITY는 낮은 평균 민감도를 가지면서도 지수적인 수의 민감도 0인 문자열을 보유하고 있어, 파라미터 공간의 양의 측도(positive-measure) 영역을 차지할 수 있습니다.
MAJORITY에 대한 추측: 저자들은 MAJORITY가 풍부한 민감도 0인 문자열을 가지고 있으므로 학습 가능할 것이라고 추측합니다.
경험적 검증: 무작위 초기화 및 학습된 트랜스포머에 대한 실험은 민감도 스펙트럼이 0 쪽으로 심하게 치우쳐 있음을 확인시켜 줍니다. PARITY와 같은 작업에 대해 학습한 후에도 모델은 올바른 민감도 프로필을 달-성하지 못하지만, MAJORITY와 FIRST(중간 정도의 길이)를 학습한 모델은 성공적으로 작업을 학습하며 예측된 민감도 클러스터링을 보여줍니다.

의의
본 논문은 저민감도 함수를 향한 트랜스포머의 관찰된 귀납적 편향(inductive bias)에 대한 이론적 설명을 제공합니다. 평균 민감도에서 전체 민감도 프로필로 초점을 전환하고 파라미터 공간의 측도론적 성질을 분석함으로써, 저자들은 PARITY와 같은 함수의 학습 불가능성이 단순한 최적화의 실패가 아니라 근본적인 기하학적 제약임을 입증합니다. 즉, 그러한 함수를 표현하는 데 필요한 파라미터 설정은 측도가 0인 집합을 차지합니다. 이는 무작위 초기화가 이러한 설정을 거의 확실히 놓칠 것이며, 초기화 사전 확률(initialization prior)에 의해 제약받는 경사 기반 최적화가 그곳에 도달하기 어려움을 의미합니다. 이 연구는 표현력과 학습 가능성 사이의 경계를 명확히 하며, 충분히 긴 입력에 대해 트랜스포머가 민감도 0인 문자열이 결여된 언어를 인식하는 것이 근본적으로 불가능함을 보여줍니다.