💬 NLP

Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models

이 연구는 잠재적 지식—모델의 가중치에 저장되어 있으나 초기에는 접근할 수 없는 생물 의학적 사실—이 대규모 언어 모델이 미세 조정 과정에서 새로운 사실을 습득하는 속도와 보지 못한 온톨로지 매핑으로 일반화하는 능력을 예측하는 가장 강력한 변수임을 입증하는 동시에, 이전에 올바랐던 매핑이 훈련 중에 강화되지 않을 때 저하되기 더 쉽다는 점을 밝혀냈다.

원저자: Daniel B. Hier, Tayo Obafemi-Ajayi

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniel B. Hier, Tayo Obafemi-Ajayi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(이 연구에서 사용된 것과 같은)을 수백만 권의 책을 읽으며 만들어진 거대하고 혼란스러운 도서관이라고 상상해 보세요. 연구자들이 실험을 시작하기 전, 이 도서관은 이미 사실들로 가득 차 있었지만, 그 방식은 매우 무질서했습니다. 어떤 사실들은 앞 표지에 밝고 굵은 글씨로 적혀 있었고(찾기 쉬움), 어떤 사실들은 먼지 쌓인 책 뒷면에 투명 잉크로 휘갈겨 써져 있었습니다(찾기는 어렵지만 여전히 존재함).

연구자들은 알고 싶었습니다: 만약 이 도서관에 특정 "학습 가이드"(미세 조정/fine-tuning)를 제공한다면, 새로운 사실을 얼마나 빨리 배울 것인가? 그리고 무엇이 모델이 사실을 빠르게 배우거나 혹은 기존의 것을 잊어버리게 만드는가?

다음은 그들의 연구 결과를 쉬운 개념으로 나누어 설명한 이야기입니다.

1. "투명 잉크"의 발견 (잠재적 지식/Latent Knowledge)

연구자들은 이 도서관에 비밀이 있다는 것을 발견했습니다. 어떤 사실들은 "투명 잉크"로 적혀 있었습니다. 만약 도서관에 평범하게 질문하면, 도서관은 "모릅니다"라고 답할 것입니다. 하지만 약간 다른 방식, 즉 더 무작위적인 방식(스토캐스틱 디코딩/stochastic decoding이라는 기술 사용)으로 질문하면, 도서관은 갑자기 "아! 사실 저 그거 알아요!"라고 말할 것입니다.

그들은 이것을 **잠재적 지식(Latent Knowledge)**이라고 불렀습니다. 이는 마치 수학 공식을 알고 있지만 시험 중에 너무 긴장해서 글로 쓰지 못하는 학생과 같습니다. 지식은 그곳에 존재하지만, 단지 숨겨져 있을 뿐입니다.

주요 발견:

"투명 잉크"로 쓰인 사실들은 매우 빠르게 학습되었습니다. 연구자들이 "학습 가이드"(미세 조정)를 시작했을 때, 모델은 이러한 사실들을 거의 즉시 학습했습니다. 그것은 마치 학생이 이미 알고 있는 것을 기억해 내기 위해 아주 작은 자극만 필요했던 것과 같았습니다.
"투명 잉크"가 없는 사실들은 학습 속도가 느렸습니다. 만약 도서관이 이전에 본 적이 없는 사실(혹은 매우 희귀한 사실)이라면, 모델은 처음부터 새로 배워야 했습니다. 이것은 훨씬 더 오래 걸렸고 훨씬 느린 속도로 진행되었습니다.

2. 학습의 세 가지 결과

연구자들은 20번의 "학습 세션"(에포크/epochs) 동안 도서관을 관찰하며 세 가지 특정 사항을 추적했습니다.

암기 (보고 있는 것을 배우는 것): 모델은 명시적으로 가르쳐준 사실들을 배웠습니다.
- 결과: 모델은 가르쳐준 사실의 약 72%를 학습했습니다. 하지만 앞서 언급했듯, "반쯤 알고 있던"(잠재적 지식) 것들이 먼저, 그리고 가장 빠르게 학습되었습니다.
일반화 (보지 못한 것을 추측하는 것): 연구자들은 모델에게 한 번도 본 적 없는 사실 목록을 주고, 유사한 것들을 공부함으로써 그 사실들을 알아낼 수 있는지 물었습니다.
- 결과: 이는 매우 드문 일이었습니다(약 6%의 경우). 하지만 모델은 오직 그 사실에 대한 "투명 잉크"(잠재적 지식)를 이미 가지고 있었을 때만 이러한 새로운 사실들을 추측하는 데 성공했습니다. 만약 사전 노출이 전혀 없었다면, 모델은 새로운 사실을 추측할 수 없었습니다.
퇴보 (알고 있던 것을 잊어버리는 것): 이것은 무서운 부분입니다. 때때로 모델이 새로운 것들을 공부하는 동안, 처음에 완벽하게 알고 있었던 사실들을 잊어버리기도 했습니다.
- 결과: 모델은 학습 세션 동안 가르쳐주지 않은 사실들을 훨씬 더 잘 잊어버리는 경향이 있었습니다. 가르쳐준 사실들은 마치 방패처럼 보호되었습니다. 이는 마치 역사 시험을 공부하다가 너무 집중한 나머지 자신의 전화번호를 까먹는 것과 같습니다.

3. "인기" 요소

연구자들은 특정 사실이 현실 세계에서 얼마나 "인기" 있는지(의학 서적에 얼마나 자주 등장하는지)가 중요한지도 확인했습니다.

놀라운 점: 특정 단어가 얼마나 자주 나타나는지는 그리 중요하지 않았습니다.
진정한 승자: 해당 사실의 식별자(특정 코드)가 얼마나 자주 나타나는지가 매우 중요했습니다.
챔피언: "투명 잉크"(잠재적 지식)가 단 하나의 가장 강력한 예측 변수였습니다. 이는 인기나 빈도보다 더 중요했습니다.

요약 메타포

모델을 정원사로, 사실들을 씨앗으로 생각해 보세요.

잠재적 지식은 이미 땅 밑에서 작은 뿌리를 틔운 씨앗과 같습니다. 당신이 물을 주면(미세 조정), 그것은 즉시 식물로 쑥 자라납니다.
잠재적 지식이 없음은 완전히 휴면 상태인 씨앗입니다. 당신은 그것이 자라기 시작할 때까지 오랫동안 물을 주어야 합니다.
일반화는 한 번도 본 적 없는 씨앗으로부터 식물을 키우려는 시도입니다. 당신은 토양(모델의 뇌)에 이미 적절한 영양분(잠재적 지식)이 있어 그것을 지탱할 수 있을 때만 이 일을 할 수 있습니다.
퇴보는 정원사가 새로운 꽃을 심는 데 너무 열중한 나머지 실수로 기존의 꽃들을 밟아버리는 것과 같습니다. 당신이 현재 물을 주고 있는 꽃들(훈련 세트)은 안전하지만, 당신이 무시하는 꽃들(보이지 않는 세트)은 짓밟히게 됩니다.

요약

이 논문은 모델에게 무엇이든 즉각적으로 배우도록 강요할 수는 없다고 결론짓습니다.

만약 모델이 이미 지식에 대한 "힌트"(잠재적 지식)를 가지고 있다면, 빠르게 학습하며 유사한 새로운 것들도 추측할 수 있습니다.
만약 모델이 힌트를 전혀 가지고 있지 않다면, 학습은 느리며 새로운 것을 추측할 수도 없습니다.
모델이 기존의 사실을 잊어버리는 것을 막으려면, 훈련 중에 그 특정 사실들을 계속 연습시켜야 합니다.

이는 과학자들이 단순히 마법처럼 모든 것을 배우기를 바라는 것이 아니라, 언제 모델을 훈련시켜야 하며 무엇을 기대해야 하는지를 이해하도록 도와줍니다.

기술 요약: 미세 조정된 대규모 언어 모델의 사실 습득 예측 인자로서의 잠재 지식(Latent Knowledge)

문제 정의
대규모 언어 모델(LLM)은 사전 학습(pretraining) 이후 생물 의학적 사실을 불균등한 강도로 인코딩하며, 이는 종종 학습 코퍼스의 롱테일 분포를 반영한다. 일부 사실들은 인코딩되어 있으나 결정론적 디코딩(deterministic decoding) 하에서는 접근할 수 없는 상태(이를 "잠재 지식"이라 명명함)로 존재하며, 다른 사실들은 최소한으로만 표현되어 있다. 현재의 연구들은 미세 조정(fine-tuning) 과정에서의 사실 습득을 이진 결과(학습됨 vs 학습되지 않음)로 취급하는 경우가 많으며, 습득의 속도, 미학습 사실에 대한 일반화 역학, 또는 지식 퇴화(degradation)의 메커니즘을 정량화하는 데 실패하고 있다. 또한, 사전 학습에서 유도된 표현, 특히 잠재 지식이 구조화된 온톨로지 사실(용어-식별자 쌍)을 LLM에 주입하는 미세 조정의 효율성에 어떻게 영향을 미치는지 여부는 여전히 불분명하다.

방법론
저자들은 사실 습득을 '시간-사건(time-to-event)' 프로세스로 모델링하기 위해 생존 분석 프레임워크를 채택하였으며, 미세 조정의 에포크(epoch)를 시간으로, 올바른 식별자 출력이 처음 발생하는 시점을 사건으로 간주하였다.

모델 및 데이터: 본 연구는 Llama-3.1-8B-Instruct 모델을 사용하였다. 두 가지 생물 의학 온톨로지가 구조화된 테스트베드로 활용되었다: 인간 표현형 온톨로지(HPO)와 유전자 온톨로지(GO).
- HPO: 800개의 용어-식별자 쌍이 학습 데이터(본 용어, seen terms)로 사용되었다.
- GO: 800개의 쌍 중 400개는 학습용(본 용어), 나머지 400개는 미학습 용어(unseen terms)로 나누어 일반화 능력을 평가하였다.
잠재 지식 탐지: 잠재 지식은 확률적 디코딩(온도 1.0에서의 샘플링)을 통해 식별되었다. 특정 용어는 미세 조정 전, 50개의 확률적 샘플 중 적어도 하나가 올바른 식별자를 생성했을 경우 잠재 지식을 가진 것으로 간주되었다.
미세 조정 프로토콜: 모델은 LoRA(Low-Rank Adaptation)를 사용하여 20 에포크 동안 미세 조정되었다. HPO의 경우 800개 쌍 전체를 학습시켰다. GO의 경우, 학습된 400개 쌍만을 학습시키고 나머지 400개 미학습 쌍에 대해서는 일반화 여부를 평가하였다.
분석 프레임워크:
- 습득/일반화: 캡플란-마이어 추정량(Kaplan–Meier estimators)을 사용하여 누적 곡선( $F(t)$ )과 속도 곡선( $V(t)$ )을 생성함으로써 모델링하였다.
- 예측 인자: 콕스 비례 위험 모델(Cox proportional hazards models)을 사용하여 공변량이 습득률에 미치는 영향을 정량화하였다. 공변량에는 잠재 지식 상태, PubMed Central(PMC) 내 식별자 빈도, PMC 내 용어 빈도, 그리고 큐레이션된 주석(annotation) 수가 포함되었다.
- 퇴화(Degradation): 베이스라인(에포크 0)에서는 정답이었으나 훈련 중에 오답이 된 용어들을 추적하여 분석하였다.

주요 기여

속도 기반 프레임워크: 본 논문은 사실 학습을 특징짓기 위해 생존 분석 접근법을 도입하여, 이진 정확도 지표를 넘어 습득 속도, 수렴 시기, 그리고 퇴화 위험을 정량화하였다.
주요 예측 인자로서의 잠재 지식: 본 연구는 잠재 지식(가중치에는 존재하지만 결정론적으로는 접근 불가능한 정보)이 사실 습득 속도 및 일반화 성공의 가장 강력한 예측 인자임을 입증하였다.
미세 조정의 비대칭적 역학: 본 연구는 미세 조정의 세 가지 뚜렷한 결과를 규명하였다:
- 암기(Memorization): 본 용어(seen facts)에 대한 빠른 습득이 일어나며, 이는 잠재 지식에 크게 의존한다.
- 일반화(Generalization): 드물지만(본 연구에서는 5.8%) 예측 가능한 현상으로, 거의 전적으로 잠재 지식이 존재할 때 발생한다.
- 퇴화(Degradation): 기존에 정답이었던 사실의 손실을 의미하며, 이는 훈련 중 지속적인 노출에 의해서만 유의미하게 완화될 뿐, 잠재 지식에 의해 완화되지는 않는다.

결과

습득 속도: 베이스라인에서 모델은 HPO 쌍의 2.8%를 올바르게 회상하였다. 20 에포크 후에는 71.9%가 습득되었다. 잠재 지식을 가진 용어는 그렇지 않은 용어(평균 시간 11.4 에포크)에 비해 훨씬 빠르게 습득되었다(평균 시간 2.9 에포크). 잠재 지식은 습득의 위험비(Hazard Ratio, HR)를 2.6배 증가시켰다 ( $p < 0.001$ ).
용량-반응 효과(Dose-Response Effect): 단계적 관계가 관찰되었다. "높은" 잠재 지식(확률적 정확도 $\ge$ 10%)을 가진 용어는 더 일찍 수렴하고 더 높은 피크 속도를 보였다.
일반화: 미학습 GO 용어로의 일반화는 흔치 않았다(379개 용어 중 5.8%). 그러나 잠재 지식이 지배적인 예측 인자였으며, 일반화의 위험비를 13.67배 증가시켰다 ( $p < 0.005$ ). PMC 내 식별자 빈도 또한 일반화를 긍정적으로 예측하였다 (HR = 3.39).
퇴화: 베이스라인에서 정답이었던 43개의 GO 용어 중 55.8%가 훈련 중 퇴화하였다. 퇴화는 미학습 용어에서 본 용어보다 유의미하게 더 많이 발생하였다 (본 용어의 경우 HR = 0.10으로, 훈련의 보호 효과를 나타냄). 주목할 점은, 이미 정답인 사실에 대해서는 잠재 지식이 퇴화를 방지하지 못했다는 것이다.

의의 및 주장
본 논문은 사전 학습에서 유도된 구조, 특히 잠재 지식이 미세 조정의 효율성을 근본적으로 형성한다고 주장한다. 저자들은 잠재 지식이 모델의 유효 탐색 공간을 좁혀줌으로써, 미세 조정이 새로운 것을 발견하기보다는 기존의 약한 연관성을 조정할 수 있게 한다고 상정한다. 결과적으로, 미세 조정은 모델이 이미 "절반의 지식(half-knowledge)"을 보유하고 있는 온톨로지 사실을 주입할 때 가장 효율적이다.

저자들은 이 프레임워크가 다음과 같은 원칙적인 방법을 제공한다고 결론짓는다:

미세 조정이 데이터 효율성이 낮을 것으로 예상되는 "온톨로지 사막(ontology deserts, 잠재 지식이 없는 용어)"을 식별하는 것.
어떤 미학습 사실이 일반화에 적합한지 예측하는 것.
임상적으로 중요한 사실의 강화를 우선시하여 파괴적 망각(catastrophic forgetting)을 방지하는 커리큘럼을 설계하는 것(퇴화에 대한 저항력은 사전 학습의 돌출도가 아닌 훈련 노출에 달려 있기 때문).

본 연구는 이러한 결과가 관찰된 학습 곡수에 국한된 것이며, 이러한 변화를 일으키는 내부의 기계적 변화(예: 로짓 재분배)를 설명하는 것은 아니라는 점을 강조하며, 향후 연구가 이 속도 기반 프레임워크와 기계적 분석을 통합해야 함을 시사한다.

1. "투명 잉크"의 발견 (잠재적 지식/Latent Knowledge)

2. 학습의 세 가지 결과

3. "인기" 요소

요약 메타포

요약

유사한 논문