A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

글을 쓰고, 번역하고, 추론하는 현대의 인공지능은 트랜스포머(transformer)라고 알려진 특정한 구조적 설계에 의존합니다. 이 설계의 핵심에는 깊게 쌓인 처리 계층들이 있으며, 각 계층은 이전 계층으로부터 받은 정보를 정교하게 다듬습니다. 이러한 깊은 네트워크가 훈련 중에 무너지는 것을 방지하기 위해, 엔지니어들은 '스킵 연결(skip connections)'을 사용합니다. 강물이 일련의 폭포를 통해 흐르는 모습을 상상해 보십시오. 스킵 연결은 물이 폭포를 우회하여 하류의 줄기에 다시 합류할 수 있게 해주는 우회 채널과 같습니다. 이는 데이터가 아무리 많은 계층을 통과해야 하더라도 신호가 결코 유실되거나 희석되지 않도록 보장합니다. 수년 동안 표준 관행은 모든 개별 처리 단계 뒤에 이러한 우회로를 포함하는 것이었습니다. 하지만 최근 한 조사는 단순하고 구조적인 질문을 던졌습니다. 만약 이 우회로 중 단 하나만을 제거한다면 어떻게 될까? 시스템이 완전히 실패할 것인가, 아니면 적응할 방법을 찾아낼 것인가?

프라틱 쿠마르 바바리야(Pratik Kumar Babariya)라는 연구자는 인공지능 모델을 구축하고 이러한 안전망을 체계적으로 제거함으로써 이 질문에 답하고자 했습니다. 그는 두 가지 특정 시나리오를 테스트했습니다. 하나는 어텐션 메커니즘(attention mechanism) 뒤의 우회로를 제거한 경우였고, 다른 하나는 피드포워드 네트워크(feed-forward network) 뒤의 우회로를 제거한 경우였습니다. 어텐션 메커니즘은 문장 내에서 어떤 단어들이 서로 가장 관련이 있는지 결정하는 부분이며, 피드포워드 네트워크는 그 정보를 처리하고 변형하는 부분입니다. 목표는 모델이 이러한 특정 지름길 없이도 생존할 수 있는지, 아니면 제거가 전체 학습 과정을 붕괴시킬지를 확인하는 것이었습니다.

소규모 모델에서 수행된 초기 실험은 암울한 결과를 시사했습니다. 연구자가 두 우회로 중 하나를 제거했을 때, 모델은 학습에 실패하며 우회로가 전혀 없는 모델과 동일한 낮은 성능 수준에 머물렀습니다. 두 지름길 모두 똑같이 필수적인 것처럼 보였습니다. 그러나 이 초기 결과는 측정 도구의 착각이었을 가능성이 높았습니다. 연구자는 자신이 모델을 평가하는 방식이 무작ful한 노이즈를 유입시켜 미세한 성능 차이를 파악하는 것을 불가능하게 만들고 있다는 점을 깨달았습니다. 그는 테스트를 위한 고정된 데이터를 사용하고 모든 변수를 통제함으로써 더욱 엄격한 설정으로 실험을 재구축했습니다.

더 깨끗한 방법으로 실험이 다시 진행되었을 때, 놀라운 비대칭성이 나타났습니다. 피드포워드 네트워크 뒤의 우회로를 제거하면 초기 테스트에서 보여준 것처럼 모델이 완전히 실패했습니다. 모델은 학습하지 못했고, 성능은 높은 오차율에 머물러 있었습니다. 하지만 어텐션 메커니즘 뒤의 우회로를 제거했을 때, 모델은 예상치 못한 행동을 보였습니다. 바로 학습을 한 것입니다. 모든 지름길이 온전한 모델만큼 성능이 뛰어나지는 않았지만, 모델은 언어를 처리하는 법을 성공적으로 학습하여 훨씬 더 나은 성능 수준을 달 achieve했습니다. 이 결과는 우연이 아니었습니다. 연구자는 서로 다른 무작위 시작 지점을 사용하여 이 성공적인 구성을 8번 실행했으며, 매번 모델이 효과적으로 학습했습니다. 실패한 다른 구성의 실패 역시 매번 테스트될 때마다 일관되게 나타났습니다.

연구자는 왜 이런 차이가 존재하는지 살펴보았습니다. 그는 실패하는 모델들에서 하위 계층에서 상위 계층으로의 정보 흐름이 완전히 멈추는 현상, 즉 '그래디언트 기아(gradient starvation)' 현상을 관찰했습니다. 이는 두 실패 사례 모두에서 발생했습니다. 그러나 성공한 모델에서는 어텐션 메커니즘이 해결책을 찾아낸 듯 보였습니다. 어텐션 메커니즘은 문장의 모든 단어를 동시에 살펴보기 때문에, 물리적인 지름길이 없더라도 데이터를 흐르게 할 경로를 효과적으로 재구축하여 다양한 위치를 가로질러 정보를 라우팅하는 법을 배울 수 있습니다. 반면, 피드포워드 네트워크는 각 단어를 독립적으로 처리하므로 이러한 종류의 교차 연결을 만들어낼 수 없습니다. 우회로가 없다면, 이를 통해 손실된 정보를 복구할 방법이 없습니다.

이야기는 완벽하게 해결된 미스터리로 끝나지 않습니다. 연구자가 실험 규모를 훨씬 더 큰 모델로 확장했을 때, 결과는 덜 명확해졌습니다. 피드포워드 우회로를 제거한 모델은 여전히 실패했지만, 어텐션 우회로를 제거한 모델은 학습의 징후를 보였으나 성능이 무작위 시작 조건에 따라 크게 요동쳤습니다. 어떤 실행에서는 잘 학습했고, 어떤 경우에는 어려움을 겪었습니다. 이는 적응 능력이 실재하더라도 모델이 더 커지고 복잡해짐에 따라 이를 유지하기가 더 어려워진다는 것을 시사합니다. 연구자는 또한 자신의 초기 작업에서 중요한 방법론적 오류를 발견했습니다. 그는 훈련 과정 중에 승수(multiplier)를 조정하여 실패하는 모델들을 수정하려고 시도했는데, 이는 모델이 성공한 것처럼 보이게 만들었습니다. 그는 나중에 훈련 알고리즘이 이 변화에 자동으로 보상하여 그 조정이 환상에 불과했다는 것을 깨달았습니다. 이 실수를 바로잡고 실패를 투명하게 보고함으로써, 그는 최종 결론이 소프트웨어의 산물이 아닌 현실에 기반하도록 했습니다.

핵래 핵심적인 발견은 인공지능의 뇌를 구성하는 모든 지름길이 동일하게 만들어진 것은 아니라는 점입니다. 단어들을 서로 연결하는 모델의 부분 뒤에 있는 경로를 제거하는 것은 시스템이 생존하고 학습할 수 있게 해주는데, 이는 해당 부분이 스스로를 보완하여 재구성할 수 있기 때문입니다. 개별 단어를 처리하는 부분 뒤의 경로를 제거하면 시스템은 완전히 붕괴됩니다. 이러한 차이는 작은 모델에서 유효하며 큰 모델에서도 강력하게 시사되지만, 더 큰 모델은 이 적응력의 한계를 확인하기 위해 추가적인 연구가 필요합니다. 이 연구는 복잡한 시스템에서 연결의 구체적인 배치가 연결 그 자체만큼이나 중요하며, 시스템이 실패하는 것처럼 보일 때조차 면밀히 살펴보면 회복을 위한 숨겨진 능력을 발견할 수 있다는 점을 상기시켜 줍니다.