An Artifact Audit of Budget-Dependent LoRA Rank Comparisons

인공지능의 세계에서 연구자들은 오랫동안 하나의 딜레마에 직면해 왔습니다. 어떻게 하면 거대하고 사전 학습된 컴퓨터 모델을 처음부터 다시 학습시키는 막대한 비용 없이, 새롭고 특정한 작업을 수행하도록 가르칠 것인가 하는 문제입니다. 표준이 된 해결책은 로우-랭크 어댑테이션(Low-Rank Adaptation), 즉 LoRA라고 불리는 기술입니다. 컴퓨터가 학습한 지식의 조각들을 각각의 책으로 나타내는 거대한 도서관을 상상해 보십시오. 새로운 사실 몇 가지를 추가하기 위해 도서관 전체를 새로 쓰는 대신, 엔지니어들은 여백에 작고 유연한 메모를 삽입합니다. 이 메모들이 바로 '어댑터'이며, 이들은 책 자체보다 훨씬 저렴하게 작성하고 저장할 수 있습니다. 이 과정의 핵심 설정은 '랭크(rank)'로, 이는 이 메모들이 얼마나 크고 복잡해질 수 있는지를 조절하는 다이얼 역할을 합니다. 일반적인 가정은 더 큰 다이얼을 사용하여 더 큰 메모를 허용하면, 컴퓨터가 이를 읽을 충분한 시간만 주어진다면 항상 더 많은 유연성과 더 나은 결과를 제공할 것이라는 것이었습니다.

하지만 상하이 전기 대학교(Shanghai Dianji University)의 최근 연구는 학습을 위한 '시간' 또는 '예산'이 실제로 어떻게 계산되는지를 면밀히 살펴봄으로써 이 단순한 가정을 반박합니다. 연구진은 모델이 갖게 되는 시간의 규칙이 메모의 크기와 연동될 때, 결과가 완전히 오해를 불러일으킬 수 있다는 것을 발견했습니다. 그들은 공정하도록 설계된 시스템이 오히려 더 크고 복잡한 메모에는 학습할 시간을 거의 주지 않음으로써 벌칙을 주는 반면, 작은 메모에는 엄청난 양의 시간을 할애한다는 사실을 발견했습니다. 연구진이 이러한 불균형을 바로잡았을 때 결과는 완전히 뒤집혔으며, 이는 작은 메모가 본질적으로 더 우월하다는 것처럼 보였던 결과가 실험 규칙에 의해 만들어진 환상이었음을 입증했습니다.

이야기는 이미 수행된 일련의 컴퓨터 실험들로부터 시작됩니다. 원래의 실험들은 영화 리뷰를 긍정 또는 부정으로 분류하는 작업에 대해 네 가지 서로 다른 크기의 '메모'—랭크 2, 8, 16, 64—를 테스트했습니다. 연구진은 공정성을 보장하기 위한 규칙을 설정했습니다. 그들은 더 큰 메모가 처리해야 할 정보가 더 많으므로 더 적은 단계(steps)를 가져야 하고, 작은 메모는 더 많은 단계를 가져야 한다고 믿었습니다. 이 규칙은 총 노력이 일정하게 유지되어야 한다는 수학적 아이디어에 기반했습니다. 실제로 이는 가장 작은 메모인 랭크 2는 학습을 위해 682단계를 허용받은 반면, 가장 큰 메모인 랭크 64는 단 1단계만을 허용받았음을 의미했습니다.

원래의 실행 결과가 검토되었을 때, 가장 작은 메모가 명백한 승자로 나타났습니다. 랭크 2 모델은 약 74%의 테스트 정확도를 달성한 반면, 단 한 단계만 부여받았던 랭크 64 모델은 약 51%를 기록했습니다. 다른 크기들은 그 사이에 위치했으며, 이는 작은 메모가 더 나은 성능을 보이는 듯한 패턴을 만들어냈습니다. 언뜻 보기에 이는 메모를 작게 유지하는 것이 성공의 비결인 것처럼 보였습니다. 하지만 연구진은 이 결과가 메모의 크기 때문이 아니라, 각 메모에 허용된 시간의 극단적인 차이 때문일 것이라고 의심했습니다.

이 의심을 테스트하기 위해 연구팀은 메모의 크기와 주어진 시간을 분리하도록 설계된 새로운 실험 세트를 실행했습니다. 그들은 동일한 작업과 동일한 컴퓨터 모델을 유지하면서 규칙을 변경했습니다. 먼저, 연구진은 원래의 규칙을 사용하여 실험을 다시 수행하되, 이번에는 시작 조건이 실수로 메모 크기와 연결되지 않도록 했습니다. 결과는 동일했습니다. 작은 메모가 여전히 승리했으며, 평균 정확도는 77%였던 반면, 여전히 한 단계로 제한되었던 큰 메모는 평균 50%를 기록했습니다. 이는 특정 규칙 하에서는 원래의 결과가 재현 가능하다는 것을 확인시켜 주었지만, 작은 메모가 본질적으로 더 낫다는 것을 증명하지는 않았습니다.

결정적인 테스트는 연구진이 모든 메모 크기에 정확히 동일한 시간인 42단계를 부여하도록 규칙을 변경했을 때 이루어졌습니다. 이때 결과는 극적으로 역전되었습니다. 이전에 심각하게 학습 부족 상태였던 큰 메모인 랭크 64는 정확도가 78%로 급증하며 최고의 성능을 보였습니다. 반면, 작은 메모인 랭크 2는 58%로 떨어졌습니다. 연구진은 이를 다양한 데이터 조각과 뉴스 주제에 관한 다른 데이터셋에서도 테스트했으며, 그 패턴은 매번 동일하게 나타났습니다. 큰 메모가 단 한 단계만 가졌을 때는 성능이 낮았지만, 42단계를 가졌을 때는 잘 작동했습니다.

정확히 무슨 일이 일어나고 있는지 이해하기 위해, 연구진은 큰 메모가 시간이 흐름에 따라 어떻게 개선되는지 살펴보았습니다. 그들은 큰 메모가 1단계에서 42단계로 갈 때 점수가 49%에서 64%로 빠르게 뛰어오른 뒤, 그 이후로는 거의 개선되지 않는다는 것을 발견했습니다. 반면, 작은 메모는 더 많은 시간이 주어짐에 따라 꾸준히 개선되어 결국 682단계 후에 최고 점수인 74%에 도달했습니다. 이는 혼란의 메커니즘을 드러냈습니다: 원래의 규칙은 큰 메모가 학습하는 데 필요한 시간을 굶겼고, 작은 메모에는 필요 이상의 과도한 시간을 주었습니다. 큰 메모는 너무 커서 실패한 것이 아니라, 학습을 위한 훈련이 거의 이루어지지 않았기 때문에 실패한 것이었습니다.

연구는 원래의 관찰, 즉 '작은 메모가 더 낫다'는 관찰이 특정하고 결함이 있는 방식으로 측정된 공정성의 산물이라고 결론짓습니다. 큰 메모에 대한 단계 수를 줄이는 규칙은 너무 공격적이어서, 가장 유능한 모델들에게 학습할 기회를 거의 주지 못했습니다. 연구진은 이것이 큰 메모가 항상 더 낫다거나 작은 메모가 항상 더 나쁘다는 것을 의미하는 것은 아니라고 강조합니다. 대신, 이 모델들의 순위는 학습 예산이 어떻게 정의되느냐에 전적으로 달려 있다는 것을 보여줍니다. 만약 큰 모델에게 시간을 너무 적게 준다면, 그것은 약해 보일 것입니다. 충분한 시간을 준다면, 그것은 더 작은 모델들을 능가할 수 있습니다.

이 발견은 이러한 AI 모델을 설계하는 모든 이들에게 경고의 메시지를 전달합니다. 이는 모델의 크기를 비교할 때 각 모델이 학습할 수 있는 시간을 어떻게 고려하는지를 주의 깊게 살피지 않으면 잘못된 결론에 도달할 수 있음을 시사합니다. 더 작은 모델의 겉보기 이점은 단순히 큰 모델이 자신을 증명할 공정한 기회를 얻지 못했다는 신호일 수 있습니다. 연구진은 어떤 상황에서 어떤 모델 크기가 최선인지에 대한 질문을 해결했다고 주장한 것이 아니라, 답이 단순히 "작은 것이 더 좋다"는 식의 간단한 문제가 아님을 보여주었습니다. 진정한 성능은 비교가 공정하게 이루어지는지, 그리고 그 공정함이 모든 모델에게 자신의 특정 과업을 배울 수 있는 충분한 시간을 주는 것을 의미하는지에 달려 있습니다.