기술적 요약: 트랜스포머가 학습한 단축 해결책이 지속적 구성적 추론을 저해함

문제 제기

이 논문은 지속적 학습 (Continual Learning, CL) 맥락에서 트랜스포머 신경망이 **구성적 추론 (compositional reasoning)**을 수행하는 방식에 대한 이해의 중요한 공백을 다루고 있다. 트랜스포머는 정적 데이터셋에서 입력별 관계를 식별하고 구성적 작업을 수행하는 데 성공을 거두었지만, 학습된 표현을 활용하여 새로운 관련 경험을 습득하면서도 파국적 망각 (catastrophic forgetting) 없이 이를 수행하는 능력은 아직 충분히 연구되지 않았다. 구체적으로, 저자들은 이러한 모델들이 인간적 유추 추론과 유사한 일반적인 계산 전략을 개발할 수 있는지, 아니면 순차적 작업 간 지식 이전을 방해하는 비일반화 가능한 '단축 (shortcut)' 해결책에 의존하는지 조사한다.

방법론

저자들은 합성 등식 및 군 연산 학습 (Learning Equality and Group Operations, LEGO) 프레임워크 (Zhang et al., 2022) 를 지속적 LEGO (Continual LEGO) 설정으로 확장했다.

• 작업 설계: LEGO 작업은 군 구조 (구체적으로 대칭군 $D_3$) 내에서 일련의 군 연산 ($a_t = a_{t-1} * x_t$) 을 해결하는 것을 포함한다. 이 작업은 방향성 그래프 탐색으로 간주된다.
• 지속적 설정: $D_3$ 군은 세 가지 고유한 '플립플롭 경험 (flip-flop experiences)'으로 분해되며, 각각은 특정 부분군 (예: $\{x_1, x_4\}$, $\{x_1, x_5\}$, $\{x_1, x_6\}$) 으로 정의된다. 모델은 이러한 경험들을 순차적으로 학습한다. 중요한 점은 모델이 새로운 경험으로 이동하면 이전 경험의 입력을 받지 못한다는 것이며, 이를 통해 **전진 이전 (forward transfer, 새로운 작업을 더 빠르게 학습)**과 **성능 유지 (파국적 망각 방지)**를 테스트한다.
• 모델: 연구는 표준 피드포워드 트랜스포머인 BERT와 계층 간 가중치 공유를 가진 순환 변형인 ALBERT를 비교한다.
• 아키텍처 분석: 저자들은 작업을 해결할 수 있는 최소 아키텍처를 식별하기 위해 모델 하이퍼파라미터 (은닉 레이어 수와 어텐션 헤드 수) 를 체계적으로 변화시킨다. 그들은 자기 어텐션 패턴을 분석하여 학습된 해결책의 기계적 본질 (예: 알고리즘적 루프 대 단축) 을 규명한다.
• 개입: 연구는 망각을 완화하고 경험 간 구성을 가능하게 하기 위해 **리플레이 버퍼 (과거 데이터의 1% 저장)**와 **증분 학습 (과거 및 현재 경험 데이터를 연결)**의 효과를 평가한다.

주요 기여

1. 지속적 LEGO 프레임워크: 저자들은 트랜스포머의 CL 능력을 체계적으로 조사하기 위한 통제된 합성 패러다임을 도입하며, 특히 구성적 추론에 초점을 맞춘다.
2. 아키텍처의 분기: 연구는 아키텍처 선택 (피드포워드 대 순환/가중치 공유) 이 일반화와 전진 이전에 차별적인 영향을 미친다는 것을 밝힌다. BERT 모델은 크기가 커짐에 따라 일관되지 않은 성능을 보이는 반면, ALBERT 모델은 용량과 성능 간의 더 명확한 관계를 보여준다.
3. 실패/성공의 기계적 설명: 어텐션 패턴 분석을 통해 저자들은 ALBERT가 일반화 가능한 알고리즘적 For 루프와 유사한 해결책을 학습하는 반면, BERT는 더 긴 시퀀스나 새로운 경험으로 일반화되지 않는 단축 해결책을 학습한다는 것을 식별한다.
4. 리플레이의 한계: 논문은 리플레이 버퍼가 파국적 망각을 완화할 수는 있지만, BERT 모델에서 경험 간 구성적 추론을 가능하게 하기에는 부족함을 보여준다. 오직 ALBERT 모델만이 증분적으로 결합된 데이터로 학습함으로써 진정한 경험 간 구성을 달성할 수 있다.

결과

1. 지속적 LEGO에서의 성능

• 전진 이전: ALBERT 모델은 강력한 전진 이전을 보여주며, 더 적은 학습 에포크로 새로운 플립플롭 경험에서 높은 정확도를 달성한다. BERT 모델은 약한 전진 이전을 보이며, 종종 점근적 정확도에 도달하는 데 더 많은 에포크가 필요하고 학습셋보다 긴 시퀀스 길이에 일반화하지 못한다.
• 파국적 망각: 개입 없이 새로운 경험으로 학습할 때, BERT와 ALBERT 모델 모두 이전 경험에서 거의 완전한 파국적 망각 (성능이 약 0% 로 하락) 을 보인다.
• 일반화: ALBERT 모델은 짧은 시퀀스 ($a_4$) 로 학습되었을 때 더 긴 시퀀스 (예: $a_5, a_6$) 로 잘 일반화한다. BERT 모델은 일반적으로 학습 시퀀스 길이를 넘어 일반화하지 못한다.

2. 기계적 분석 (어텐션 패턴)

• ALBERT (일반 해결책): 최소 ALBERT 모델의 어텐션 패턴은 'For 루프와 유사한' 서명을 보인다. 주어진 절의 토큰들은 주로 이전 절의 토큰에 어텐션하여 상태를 체계적으로 업데이트한다. 이 패턴은 경험 전반에 걸쳐 유지되고 강화된다.
• BERT (단축 해결책): BERT 모델은 모든 출력 토큰에 대해 첫 번째 절의 단일 공유 입력 토큰을 격리하는 단축 서명을 보인다. 이 해결책은 학습 초기에 고착화되어 새로운 경험이 도입되더라도 지속되므로, 모델이 필요한 반복적 구성을 학습하는 것을 방해한다.

3. 아키텍처 규모의 영향

• ALBERT: 성능 (작업 정확도, 일반화, 전진 이전) 은 은닉 레이어 수에 따라 긍정적으로 확장된다 (성공을 위해 최소 4 레이어 필요).
• BERT: 모델 크기 증가 (예: 12 레이어) 는 더 나은 성능을 보장하지 않으며 학습 불안정으로 이어질 수 있다. BERT의 경우 모델 크기와 전진 이전 또는 일반화 사이에 명확한 관계가 존재하지 않는다.

4. 완화 전략

• 리플레이 버퍼: 과거 데이터의 1% 만 저장하는 것만으로도 두 모델 모두의 파국적 망각을 성공적으로 완화하면서 전진 이전을 보존한다. 그러나 단순한 리플레이 (별도의 예제 저장) 는 경험 간 구성을 가능하게 하지 못한다.
• 증분/결합 학습: 과거 및 현재 경험을 연결한 데이터로 학습하는 것 ('증분 플립플롭') 은 ALBERT의 성능을 회복시켜 전체 작업으로 학습된 모델의 성능에 근접하게 만든다. 이 전략은 BERT에서는 실패하며, 여기서 단축 해결책은 초기 학습 중에 고착화되어 결합된 데이터로도 학습되지 않거나 수정될 수 없다.

중요성 및 주장

이 논문은 순환 트랜스포머 (특히 ALBERT 의 가중치 공유) 의 **유도 편향 (inductive bias)**이 표준 피드포워드 아키텍처 (BERT) 보다 지속적 구성적 추론에 더 적합하다고 주장한다.

• 장벽으로서의 단축 해결책: 저자들은 BERT 가 학습한 '단축 해결책'이 단순한 성능 문제가 아니라 구성적 작업에서 지속적 학습을 위한 근본적인 장벽이라고 주장한다. 이러한 단축들은 고착화되어 전진 이전과 경험 간 구성에 필요한 일반 알고리즘적 전략을 모델이 습득하는 것을 방해한다.
• 순환 구조의 이점: ALBERT 가 학습한 'For 루프와 유사한' 계산은 일반화와 전진 이전을 위한 메커니즘을 제공하며, 순환 구조 (또는 가중치 공유 메커니즘) 가 신경망에서 유연한 계산 전략을 개발하는 데 중요할 수 있음을 시사한다.
• 학습 전략의 한계: 연구는 단순한 리플레이가 망각을 해결할 수는 있지만 경험 간 구성의 문제는 해결하지 못함을 강조한다. CL 에서 진정한 구성적 추론은 경험 간 데이터를 명시적으로 결합하는 학습 전략을 필요로 할 수 있으며, 이는 생성형 리플레이 방법이 특히 ALBERT 와 같은 모델에 대한 향후 연구의 유망한 방향임을 시사한다.

저자들은 트랜스포머가 복잡한 정적 작업에서 성공할 수는 있지만, 새로운 경험에 걸쳐 지속적으로 학습하고 구성하는 능력은 그들이 수렴하는 특정 계산 전략 (단축 대 알고리즘) 에 의해 심각하게 저해되며, 이는 아키텍처 선택에 크게 영향을 받음을 결론짓는다.