🤖 AI

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

이 논문은 필요한 가중치 업데이트가 LoRA의 저차원 용량을 훨씬 초과하는 높은 유효 랭크를 나타내어 높은 랭크에서도 상당한 성능 격차를 초래하기 때문에, LoRA가 전체 미세 조정에 비해 복잡한 다단계 절차적 지식을 효과적으로 내재화하는 데 실패한다는 점을 입증한다.

원저자: Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

게시일 2026-07-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 비행기 예약이나 고장 난 컴퓨터 수리와 같은 복잡한 일을 가르치려 한다고 상상해 보세요. 인공지능의 세계에는 '파인튜닝(Fine-tuning)'이라는 아주 유명한 기술이 있습니다. 거대한 AI 모델을 거의 모든 책이 담긴 거대한 도서관이라고 생각해 봅시다. 이 모델에게 특정한 일을 가르치려면 보통 도서관 전체를 새로 써야 하는데, 이는 비용이 많이 들고 시간이 오래 걸립니다. 시간을 아끼기 위해 과학자들은 LoRA(Low-Rank Adaptation)라는 지름길을 발명했습니다. 도서관 전체를 다시 쓰는 대신, LoRA는 로봇에게 아주 작고 얇은 메모지가 붙은 노트를 선반에 추가하여 가르치는 방식입니다. 핵심 아이디어는 밑에 있는 무거운 책들을 건드리지 않고도 로로봇에게 새로운 일을 하는 데 필요한 모든 것을 이 작은 메모지에 담아낼 수 있다는 것이었습니다. 이는 마치 레이싱 카를 운전하는 법을 가르치기 위해 몇 시간 동안 트랙에서 연습하게 하는 대신, 작은 요약 노트 하나를 주는 것과 같습니다.

하지만 여기 함정이 있습니다. 이 논문은 만약 그 일이 단순히 사실을 기억하거나 멋진 문체로 글을 쓰는 것이 아니라, 엄격한 다단계 **절차(Procedure)**를 따르는 것이라면, 과연 그 요약 노트가 정말 충분할지에 대해 질문을 던집니다. 절차적 지식은 "만약 이런 일이 발생하면, 저렇게 하라"는 식의 단계가 많은 레시피와 같아서, 진행 상황을 계속 추적하고, 실수를 처리하며, 단계를 건너뛰지 않도록 확인해야 합니다. 연구진은 작은 노트북(LoRA)이 복잡하고 갈라지는 레시피를 따라 할 수 있는지, 아니면 도서관 전체를 새로 써야 하는 '전체 파인튜닝(Full Fine-Tuning)'이 필요한지를 알고 싶었습니다.

위대한 요약 노트의 실패

연구진은 "스티키 노트" 방식이 명령을 수행하는 복잡한 현실을 감당할 수 있는지 확인하기 위해 일련의 테스트를 설정했습니다. 그들은 단순히 로봇에게 시를 쓰라고 시킨 것이 아닙니다. 로봇에게 여행사 직원, 줌(Zoom) 기술 지원 전문가, 그리고 보험 청구 담당자 역할을 맡겼습니다. 이것들은 단순한 작업이 아닙니다. 고객이 5분 전에 무엇을 말했는지에 따라 매번 경로가 바뀌는 거대하고 뒤틀린 미로를 헤매는 것과 같습니다. 고객이 화를 내면 경로를 바꿔야 합니다. 고객이 세부 사항을 잊어버리면 다시 물어봐야 합니다. 목표는 로봇이 대화를 시작부터 행복한 결말까지 성공적으로 이끌 수 있는지 확인하는 것이었습니다.

결과는 다소 충격적이었습니다. 연구진이 전체 도서관을 새로 쓰는 방식(Full Fine-Tuning)을 사용했을 때, 로봇들은 훌륭한 요원이 되었습니다. 그들은 규칙을 따르고, 세부 사항을 기억하며, 문제를 해결했습니다. 여행 예약 테스트에서 5점 만점에 4.11점이라는 견고한 점수를 기록했습니다. 하지만 "요약 노트" 방식(LoRA)을 사용했을 때는, 연구진이 만들 수 있는 가장 크고 비싼 요약 노트를 사용했음에도 불구하고 로봇들은 절차 수행에 완전히 실패했습니다.

이상한 점은 LoRA 로봇들이 단순히 조금 못하게 된 것이 아니라는 점입니다. 그들은 기묘한 루프에 빠졌습니다. 그들은 여전히 대화를 할 수 있었습니다! 충돌 없이 14번의 대화를 이어갈 수도 있었습니다. 말투도 예의 바르고 자연스러웠습니다. 하지만 실제 업무 수행에는 실패하고 있었습니다. 여행 테스트에서 LoRA 로봇들은 2.10점에서 2.54점 사이의 점수를 받았는데, 이는 전체 학습된 로봇의 절반 수준에도 못 미치는 점수였습니다. 그들은 중요한 단계를 건너뛰거나, 목적지를 묻는 것을 잊거나, 너무 일찍 포기하곤 했습니다. 그것은 마치 "안녕하세요"와 "안녕히 가세요"는 완벽하게 말할 줄 알지만, 지도를 잊어버려서 관광객들을 벽으로 인도하는 가이드와 같았습니다.

더 큰 노트북의 역설

당신은 아마 이렇게 생각할지도 모릅니다. "알았어, 요약 노트가 너무 작은 것뿐이야. 더 크게 만들어보자!" 연구진은 이를 시도했습니다. 그들은 LoRA 노트북의 크기를 아주 작은 랭크(Rank) 16에서 거대한 랭크 128까지 키웠습니다. 이는 로봇의 뇌 중 더 많은 부분을 수정한다는 것을 의미하며, 전체 파라미터의 최대 **3.4%**를 사용하는 것입니다. 노트북이 커지면 도움이 될 것이라고 예상할 수 있겠죠?

놀랍게도 결과는 더 나빠졌습니다. 노트북이 커질수록 로봇은 절차를 따르는 능력이 오히려 떨어졌습니다. 가장 좋은 점수는 가장 작은 크기일 때였으며, 가장 큰 크기에 도달했을 때 작업 성공 점수는 2.10으로 떨어졌습니다. 요약 노트를 크게 만든다고 해서 로봇이 미로의 '논리'를 배우는 것이 아니라, 단지 미로의 '단어'를 더 잘 암기하게 될 뿐이라는 사실이 밝혀졌습니다. 로봇은 자신이 무엇을 해야 하는지 아는 것처럼 들리게 하는 데는 매우 능숙해졌지만, 여전히 길을 잃은 상태였습니다. 연구진은 로봇들이 "오버피팅(Overfitting, 과적합)"되고 있다고 발견했는데, 이는 룰을 이해하는 것이 아니라 훈련 예시를 앵무새처럼 암기하고 있다는 뜻의 전문 용어입니다.

왜 요약 노트는 충분하지 않았나

그렇다면 왜 작은 노트북은 그토록 처참하게 실패했을까요? 저자들은 답을 찾기 위해 로봇의 뇌 속을 깊이 파고들었습니다. 그들은 SVD(Singular Value Decomposition, 특이값 분해)라는 수학적 도구를 사용하여 로봇이 절차를 배울 때 뇌가 정확히 어떻게 변하는지 살펴보았습니다.

로봇의 뇌가 거대한 숫자 격자라고 상상해 보세요. 로봇이 새로운 기술을 배울 때, 이 격자 안의 숫자들은 이동합니다. "저차원(Low-Rank)" 아이디어는 이러한 변화가 격자 위에 직선이나 평평한 면을 그리는 것처럼 단순하다고 가정합니다. 하지만 연구진은 절차적 과업의 경우, 그 변화가 믿을 수 없을 정도로 복잡하고 무질서하다는 것을 발견했습니다. 그것은 수천 개의 작고 뒤틀린 와이어로 만들어진 3D 조각상과 같습니다.

수학적 분석에 따르면, 이러한 과업에 필요한 변화를 포착하기 위해 로봇은 약 761에서 1,026 사이의 "랭크"를 사용해야 했습니다. 그러나 LoRA 방식은 최대 128의 랭크만을 사용할 수 있도록 제한되어 있었습니다. 이는 LoRA 노트북이 복잡한 3D 조각상을 오직 평면적인 2D 그림만으로 묘사하려고 시도하는 것과 같습니다. 정보를 담아내기에 차원이 턱없이 부족했던 것입니다. 연구진은 가장 큰 Lo-RA 노트북이라 할지라도 필요한 변화의 약 **43%에서 51%**만을 포착할 수 있다는 것을 계산해 냈습니다. 나머지 "지식"은 마치 온 바다를 찻잔에 담으려는 것처럼 담기지 못한 채 남겨졌습니다.

결론: 미로를 속일 수는 없다

이 연구는 로봇이 많은 "만약-그러면(if-then)" 결정이 포함된 엄격한 다단계 절차를 따라야 하는 과업의 경우, 지름길 방식인 (LoRA)는 작동하지 않는다는 결론을 내립니다. 로봇이 충분히 훈련되지 않은 것이 아니라, 방법 자체가 너무 제한적이기 때문입니다. 이러한 복잡한 미로를 항해하는 데 필요한 지식은 로봇의 뇌 전체에 퍼져 있으며, 작은 저차원 노트북으로는 이를 포착할 수 없습니다.

연구진은 세 가지 영역(여행, 기술 지원, 보험)과 두 가지 크기의 로봇 뇌(30억 및 80억 파라미터)에서 테스트를 진행했기에 이 결과에 대해 매우 확신하고 있습니다. 모든 경우에서 전체 라이브러리 재작성 방식이 승리했고, 요약 노트 방식은 패배했습니다. 또한 로봇이 단순히 훈련 시간이 부족했던 것도 아니라는 점을 입증했습니다. LoRA 로봇들은 전체 학습된 로봇보다 '단어'를 더 빨리 배웠지만, '규칙'을 배우는 데는 실패했기 때문입니다.

따라서, 당신의 비행을 예약하거나, 줌(Zoom) 통화 문제를 해결하거나, 보험 청구를 혼란 없이 처리할 수 있는 신뢰할 수 있는 AI 에이전트를 원한다면, 단순히 로봇의 뇌에 몇 장의 스티키 노트를 붙이는 것만으로는 부족합니다. 도서관 전체를 새로 쓰게 해야 합니다. 지름길의 효율성은 로봇이 실제로 업무를 수행하는 능력의 희생을 담보로 합니다.

기술 요약: 절차적 지식은 저차원(Low-Rank)이 아니다

문제 정의

LoRA(Low-Rank Adaptation)와 같은 매개변수 효율적 미세 조정(PEFT) 방식은 메모리 효율성과 지시 이행, 스타일 전이, 사실적 적응에서의 성공 덕분에 대규모 언어 모델(LLM)을 적응시키기 위한 표준이 되었으나, **절차적 지식(procedural knowledge)**에 대한 효능은 검증되지 않은 상태로 남아 있다. 여기서 절차적 지식이란 조건부 분기, 턴(turn) 간의 암시적 상태 추적, 특정 종단 상태(terminal state)로의 탐색을 포함하는 다단계 절차를 수행하는 능력을 의미한다(예: 고객 지원 워크플로우, 예약 시스템, 진단 인터뷰).

LoRA의 핵심 가설은 작업 특화 적응이 파라미터 공간의 저차원 부분 공간(low-dimensional subspace)에 존재한다는 것이다. 본 논문은 이 가설에 이의를 제기하며, 절차적 지식은 저차원 근사로는 포착할 수 없는 방식으로 전체 파라미터 공간에 분포되어 있다고 주장한다. 만약 LoRA가 절차적 지식을 내재화하는 데 실패한다면, 구조화된 워크플로우에 의존하는 차세대 에이전트 애플리케이션에서 LoRA가 제공하는 효율성 이점은 활용할 수 없게 된다.

방법론

본 연구는 플로우차트 기반의 절차 정의로부터 생성된 합성 데이터를 사용하여 체계적인 절제 실험(ablation) 및 교차 도메인 복제 방식을 채택하였다.

1. 작업 정의 및 데이터 생성

절차는 조건부 분기를 가진 다회차 대화를 나타내는 유향 그래프 $F = (N, E, n_0, T)$ 로 정형화되었다. 세 가지 복잡도가 다른 도메인이 사용되었다:

여행 예약 (3B 모델): 14개 노드, 3개의 결정 허브, 86개의 고유한 비순환 경로.
Zoom 지원 (8B 모델): 14개 노드, 3개의 결정 허브, 60개의 고유한 비순환 경로, 도메인 특화 UI 및 에러 코드 포함.
보험 청구 (8B 모델): 55개 노드, 6개의 결정 허브, 2,381개의 고유한 비순환 경로, 중첩된 루프 및 단계 간 의존성 특징.

합성 대화는 경로를 샘플링하고 Claude Sonnet 4.5를 사용하여 턴 단위 대화를 생성함으로써 만들어졌으며, 다양성을 확보하기 위해 시나리오 변수를 변화시켰다. 추론 모델은 명시적인 절차적 주석 없이 자연스러운 대화만을 접한다.

2. 미세 조정 구성

본 연구는 **전체 파라미터 미세 조정(Full FT)**과 네 가지 랭크( $r = 16, 32, 64, 128$ )에서의 LoRA를 비교한다.

Full FT: 모든 파라미터를 업데이트한다. 훈련에는 AdamW와 코사인 디케이(cosine decay)를 사용하였으며, 3B 모델은 20 에포크, 8B 모델은 수렴할 때까지 10~20 에포크 동안 실행하였다.
LoRA: 모든 선형 레이어(attention $q, k, v, o$ 및 MLP gate, up, down)를 대상으로 한다. 스케일링 인자는 $\alpha = 2r$ 이다. LoRA가 최선의 성능을 낼 수 있도록 LoRA 학습률은 Full FT( $2 \times 10^{-5}$ )보다 높은 $2 \times 10^{-4}$ 로 설정하였다. 평가 전 어댑터를 병합하여 동일한 추론 비용을 보장하였다.

3. 평가 프로토콜

성능은 동적 사용자 시뮬레이션과 LLM-as-a-judge(Claude Sonnet 4.5, GPT-4.1에 의해 검증됨)를 사용하여 $n=200$ 개의 시나리오당 평가되었다. 평가지표는 다음과 같다:

작업 성공(Task Success): 절차를 올바르게 실행하여 종단 상태에 도달함.
정보 정확도, 일관성, 유연한 처리 및 자연스러움.
통계적 유의성은 Wilcoxon 부호 순위 검정과 Mann–Whitney U 검정 및 Holm–Bonferroni 보정을 사용하여 평가되었다.

4. 구조적 분석 (SVD)

행태적 실패를 설명하기 위해, 저자들은 모든 가중치 행렬에 대해 가중치 차이( $\Delta W = W_{ft} - W_{base}$ )에 대한 특이값 분해(SVD)를 수행하였다. 저자들은 "Rank $r$ 에서의 에너지(Energy at $r$ )"(상위 $r$ 개의 특이 벡터가 포착하는 제곱 프로베니우스 노름의 비율)를 측정하여, 최적화 품질과 무관하게 rank- $r$ LoRA 어댑터가 포착할 수 있는 이론적 상한선을 결정하였다.

주요 결과

1. 랭크와 무관한 일관된 실패

여행 예약 작업(3B 모델)에서 모든 LoRA 구성은 랭크에 관계없이 Full FT를 따라잡지 못했다.

작업 성공: LoRA 점수는 2.10에서 2.54 사이였으나, Full FT는 4.11이었다 ( $p < 0.001$ ).
랭크 불감성(Rank Insensitivity): 랭크를 16에서 128로 증가시켜도(학습 가능한 파라미터 8배 증가) 개선이 없었다. 오히려 높은 랭크에서 점수가 저하되었다(예: $r=32$ 에서 2.54였던 작업 성공도가 $r=128$ 에서는 2.10으로 하락).
완료 vs 정확성: LoRA 모델은 높은 대화 완료율(95.5%–99.0%)을 유지하여 대화 도중 붕괴되지 않음을 보여주었다. 그러나 이들은 올바른 절차적 경로를 따르는 데 실패했으며, 종종 결정 허브를 건너뛰거나 종단 상태에 조기에 도달했다.

2. 교차 도메인 일반화

실패 양상은 8B 모델의 Zoom 지원 및 보험 청구 작업에서도 일반화되어 나타났다.

LoRA는 모든 기준에서 $r=32$ 와 $r=128$ 모두에서 Full FT보다 평균 0.8~2.2점 낮게 나타났다.
성능 격차는 가장 복잡한 절차인 보험 청구에서 가장 컸으며, 여기서 LoRA $r=128$ 은 2.10의 작업 성공도를 기록한 반면 Full FT는 4.47을 기록했다.
랭크를 32에서 128로 높이는 것은 미미한 개선만을 제공했을 뿐, Full FT와의 격차를 좁히지 못했다.

3. 가중치 업데이트의 고차원적 특성

SVD 분석 결과, 절차적 내재화에 필요한 가중치 변화는 진정으로 고차원(high-rank)임이 드러났다.

유효 랭크(Effective Rank): 모든 도메인에 걸친 Full FT 업데이트의 평균 유효 랭크는 761에서 1,026 사이였다.
에너지 포착: 랭크 128의 LoRA 어댑터는 Full FT 업데이트의 제곱 프로베니우스 노름을 **43%에서 51%**만 포착한다.
MLP 병목 현상: MLP 레이어(gate, up, down 프로젝션)가 가장 높은 유효 랭크(보험 청구의 경우 최대 1,872)를 보였다. 랭크 128은 이 레이어들에 필요한 랭크의 7~~13%만을 커버하며, 업데이트 에너지는 26~~44%만을 포착한다. Attention K/V 프로젝션은 (GQA로 인해) 더 잘 커버되었으나, MLP가 주요 병목 지점임을 확인했다.

4. 훈련 역학 및 과적합

훈련 역학 분석 결과, LoRA는 과소적합(underfitting) 문제를 겪는 것이 아님이 밝혀졌다.

낮은 손실, 낮은 행동 성능: 수렴 시, LoRA( $r=32$ )는 Full FT(0.89)보다 낮은 홀드아웃 per-token 손실(0.81)을 달성했다.
발산(Divergence): 낮은 손실에도 불구하고, LoRA는 행동적 기준에서 현저히 낮은 성능을 보였다. 이는 LoRA가 표면적인 토큰 분포(국소적 패턴)는 더 정밀하게 학습하지만, 절차적 정확성에 필요한 상태-행동 매핑(state-to-action mapping)을 습득하는 데는 실패함을 시사한다.
위치 의존적 과적합: 공식적인 초기 턴의 Loola 손실은 안정적이었으나, 상태 추적이 필요한 후반 턴의 손실은 3 에포크 이후 증가했다. 이는 LoRA가 심층적인 절차 구조가 아닌 표면적 상관관계에 과적합되고 있음을 나타낸다.

의의 및 주장

본 논문은 절차적 지식은 저차원이 아님을 입증한다. 연구 결과는 에이전트 애플리케이션을 위한 매개변수 효율적 방법론의 근본적인 한계를 시사한다:

구조적 한계: LoRA가 절차적 지식을 포착하지 못하는 것은 최적화의 실패가 아니라 표현(representation)의 실패이다. 필요한 가중치 업데이트는 수백 개의 차원에 걸쳐 분포되어 있으며, 이는 표준적인 저차원 근사(심지어 $r=128$ 에서도)를 초과한다.
효율성의 트레이드오프: 신뢰할 수 있는 다단계 절차 준수가 필요한 작업의 경우, LoRA의 효율성 이점은 절차적 역량의 희생을 수반한다. 최첨단 수준의 품질로 절차를 모델 가중치에 컴파일하기 위해서는 Full Fine-Tuning이 여전히 필요하다.
역설적 저하: 실용적인 범위 내에서 LoRA 랭크를 높이는 것은 성능을 선형적으로 향 개선하는 것이 아니라, 오히려 심층적인 절차 구조를 포착하기보다는 표면적 패턴에 대한 과적합을 증가시킬 수 있다.

저자들은 LoFA가 지시 이행 및 사실적 적응에는 성공하지만, 절차적 작업에서는 Full Fine-Tuning에 크게 미치지 못한다는 점을 강조하며, 이는 LLM 기반 에이전트 배포에 있어 중요한 차이점이라고 결론지었다. 또한, 이 연구에서는 테스트하지 않았으나, MLP 레이어에 더 높은 랭크를 할당하는 이종 랭크(heterogeneous-rank) LoRA가 향후 연구를 위한 타당한 경로가 될 수 있음을 언급하였다.