Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

이 논문은 대규모 언어 모델의 재료 과학 적용성을 평가하여 출력 모달리티에 따른 신뢰성 차이, 수치 예측 시 중간 레이어 임베딩 추출의 잠재적 이점, 그리고 모델 버전 간 성능 변동으로 인한 재현성 문제를 규명했습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM, 예: 챗봇) 이 재료 과학을 얼마나 잘 이해하고 있는지, 그리고 그 신뢰성은 얼마나 되는지"**를 조사한 연구입니다.

쉽게 비유하자면, **"최고의 두뇌를 가진 AI 학생 25 명에게 재료 과학 시험을 보게 했더니, 문제의 종류에 따라 전혀 다른 모습을 보였다는 발견"**입니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 핵심 발견: "문제 유형"에 따라 AI 의 성격이 달라집니다

연구진은 AI 에게 두 가지 종류의 문제를 냈습니다.

1. 상징적 문제 (기억력 테스트): "이 물질은 어떤 결정 구조를 가졌나요?", "이 물질의 주요 성질은 무엇인가요?" 같은 정답이 명확한 사실을 묻는 문제.
2. 숫자 문제 (계산/예측 테스트): "이 물질의 전기 전도도는 몇인가요?", "밴드갭 (에너지 차이) 은 얼마인가요?" 같은 숫자를 예측해야 하는 문제.

🧩 상황 A: 사실 질문 (상징적 문제)

• 초기 상태: AI 는 사실 질문을 할 때 정답을 모른 채 막연히 추측합니다. 마치 "저는 모릅니다"라고 말하면서도 "아마 A 일 거예요, 아니면 B 일까요?"라고 10 번을 물어볼 때마다 매번 다른 답을 내놓는 것처럼 혼란스럽고 일관성이 없습니다.
• 학습 후 (파인튜닝): 전문적인 데이터를 가르쳐주니, AI 는 정답을 확신하게 됩니다. 이제 같은 질문을 10 번 해도 매번 똑같은 정답을 말하며, 정확도도 비약적으로 상승합니다.
• 비유: 어설프게 암기한 학생이 교과서를 제대로 공부하고 나니, 시험장에서 당당하고 일관된 정답을 외워내는 모습입니다.

🔢 상황 B: 숫자 예측 (수치 문제)

• 초기 상태: AI 는 숫자 문제를 풀 때 정답을 모르고도 아주 자신감 있게 틀린 답을 내놓습니다. 10 번 물어봐도 매번 똑같은 (하지만 틀린) 숫자를 말합니다. 이를 **"자신감 있는 환각 (Confident Hallucination)"**이라고 부릅니다.
• 학습 후 (파인튜닝): 학습을 시키면 정확도는 좋아집니다. 하지만 여전히 일관성 (엔트로피) 은 일정하지 않습니다. 때로는 답이 달라지기도 하고, 정확해지더라도 여전히 "자신감 있게 틀린" 경우가 남아있을 수 있습니다.
• 비유: 숫자 감각이 없는 학생이 "정답은 5.2 입니다!"라고 아주 단호하게 말하다가, 공부를 하고 나서는 "아, 5.2 가 아니라 5.1 이네요"라고 고치지만, 여전히 10 번 물어보면 5.1, 5.2, 5.0 이라고 들쑥날쑥하는 경우입니다.

2. 숨겨진 비밀: "입구와 입"의 불일치 (LLM Head Bottleneck)

연구진은 AI 의 뇌 (내부 레이어) 를 직접 들여다보며 놀라운 사실을 발견했습니다.

• 비유: AI 는 머리 속 (내부 표현) 에는 정답을 알고 있는데, 입 (텍스트 생성) 으로 말로 표현하는 데 서툴다는 것입니다.
• 발견: 특히 '밴드갭' 같은 물성 예측에서, AI 가 말로 내놓는 숫자보다 뇌 속의 중간 단계 데이터 (임베딩) 에서 직접 추출한 숫자가 훨씬 정확했습니다.
• 의미: AI 가 "정답을 알고는 있지만, 그것을 말로 표현하는 과정에서 실수하거나 정보를 잃어버리는 것"입니다. 마치 훌륭한 요리사가 재료는 다 알고 있는데, 요리를 그릇에 담는 과정에서 맛을 잃어버리는 것과 같습니다.
• 주의: 이 현상은 모든 숫자 문제에서 똑같이 일어나는 것은 아닙니다. '유전상수' 같은 복잡한 성질은 뇌 속에도 정보가 제대로 저장되지 않아서, 말로 표현하는 것보다 더 나을 게 없었습니다.

3. 지식의 원천: "연상 작용" vs "이해"

AI 가 지식 그래프 (물질 간의 관계) 를 완성하는 방식을 분석했습니다.

• 발견: AI 는 "이 물질이 왜 이런 성질을 가지는지"를 물리적으로 이해하는 것이 아니라, **"이 단어가 다른 단어들과 얼마나 자주 함께 등장했는지"**를 통계적으로 기억하고 있습니다.
• 비유: 마치 "사과"라는 단어가 "빨간색", "과일", "맛있다"와 자주 함께 쓰인다는 걸 기억해서, "사과"를 물어보면 "빨간색"이라고 답하는 것입니다. 하지만 사과가 왜 빨간지 (광학적 성질) 를 물리적으로 이해하는 것은 아닙니다.
• 결과: 자주 등장하는 흔한 물질은 잘 맞추지만, 드문 물질이나 새로운 조합은 잘 못 맞춥니다.

4. 시간의 적: "변하는 AI" (재현성 문제)

마지막으로, 18 개월 동안 같은 AI 모델 (GPT 시리즈) 의 성능을 지켜봤습니다.

• 발견: 같은 질문을 했을 때, 1 년 전과 지금의 정답이 9% 에서 최대 43% 까지 달라졌습니다.
• 비유: 과학 실험실에서 사용하는 측정기기가 매달 자동으로 업데이트되면서 눈금 자체가 달라지는 것과 같습니다.
• 문제: 연구자들이 오늘 얻은 결과가 내일 다시는 재현되지 않을 수 있다는 뜻입니다. 특히 API(인터넷 서비스) 로 제공하는 모델은 내부가 어떻게 변하는지 알 수 없어, 과학적 연구에 큰 리스크가 됩니다.

---

💡 결론: 우리가 무엇을 배웠나요?

1. AI 는 만능이 아닙니다: 사실을 묻는 문제에는 잘 맞지만, 숫자를 예측할 때는 "자신감 있게 틀릴" 수 있으니 주의해야 합니다.
2. 머리는 좋지만 입이 서툴다: AI 가 숫자 문제를 풀 때, 말로 내놓는 답보다 뇌 속 데이터를 직접 뽑아내는 게 더 정확할 수 있습니다. (계산용으로는 이 방법이 나을 수도 있음)
3. 통계적 기억일 뿐: AI 는 물리 법칙을 이해하는 게 아니라, 단어들의 연결 패턴을 기억하는 수준입니다.
4. 재현성 주의: 과학 연구에 AI 를 쓸 때는 "언제, 어떤 버전의 AI 를 썼는지"를 꼭 기록해야 합니다. AI 가 변하면 결과도 변할 수 있기 때문입니다.

이 연구는 AI 가 재료 과학에 얼마나 유용한지 보여주지만, 동시에 그 한계와 위험성을 정확히 파악하고 사용해야 함을 경고합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

재료 과학 분야에서 대규모 언어 모델 (LLM) 의 활용이 급증하고 있지만, 모델의 신뢰성과 지식 인코딩 방식에 대한 근본적인 의문이 남아 있습니다. 기존 연구들은 LLM 이 재료 데이터를 얼마나 잘 이해하고 있는지, 미세 조정 (fine-tuning) 이 어떻게 작동하며, 모델의 예측이 얼마나 일관된지에 대한 체계적인 분석이 부족했습니다.

주요 해결해야 할 문제들은 다음과 같습니다:

• 지식 인코딩의 불명확성: 모델이 재료 엔티티를 실제로 이해하는지, 아니면 단순한 통계적 패턴을 학습한 것인지 불분명함.
• 출력 모달리티에 따른 행동 차이: 기호적 (symbolic) 작업과 수치적 (numerical) 작업에서 모델의 실패 모드와 미세 조정의 효과가 어떻게 다른지 규명 필요.
• 신뢰성 및 재현성: LLM 이 수치 예측에서 얼마나 일관된지, 그리고 API 기반 모델의 시간적 안정성 (reproducibility) 이 과학적 연구에 미치는 영향 평가 필요.

2. 연구 방법론 (Methodology)

이 연구는 재료 과학의 4 가지 핵심 작업을 수행하는 25 개의 LLM(기저 모델 및 미세 조정 모델 포함, 총 200 개 이상의 구성) 을 평가했습니다.

• 평가 작업 (Tasks):
  1. 기호적 작업 (Symbolic Tasks):
     • 지식 그래프 완성 (MatKG Link Prediction): 재료 과학 지식 그래프의 관계 Triple 을 자연어 질문 - 답변 쌍으로 변환하여 예측.
     • 결정계 분류 (Crystal System Classification): 화학식으로부터 7 가지 결정계 중 하나를 분류.
  2. 수치적 작업 (Numerical Tasks):
     • 밴드갭 예측 (Bandgap Prediction): 화학 조성만으로 밴드갭 (eV) 값을 회귀 예측.
     • 유전 상수 예측 (Dielectric Constant Prediction): 화학 조성만으로 유전 상수 값을 회귀 예측.
• 실험 설계:
  • 미세 조정 (Fine-tuning): LoRA(Low-Rank Adaptation) 를 사용하여 오픈 가중치 모델 (Llama, Mistral 등) 과 API 모델 (GPT 시리즈) 을 각 작업에 맞게 미세 조정.
  • 응답 엔트로피 (Response Entropy): 10 회 독립적인 추론 실행을 통해 출력의 일관성 (불확실성) 을 정량화.
  • 레이어별 프로빙 (Layer-wise Probing): 미세 조정된 모델의 트랜스포머 중간 레이어에서 임베딩을 추출하여 지도 학습 프로브 (ridge regression, NN) 로 속성을 예측. 이를 통해 모델의 내부 표현이 텍스트 생성보다 더 많은 정보를 담고 있는지 확인.
  • 종단 연구 (Longitudinal Study): 18 개월 동안 GPT 모델의 성능 변동을 추적하여 재현성 문제 분석.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 출력 모달리티에 따른 근본적인 행동 차이

연구의 가장 핵심적인 발견은 출력 모달리티가 모델 행동을 결정한다는 점입니다.

• 기호적 작업 (Symbolic):
  • 기저 모델: 높은 응답 엔트로피 (일관성 부족) 와 낮은 정확도를 보임. 이는 지식의 공백을 의미.
  • 미세 조정 효과: 정확도가 크게 향상 (3060%p 증가) 되면서 응답 엔트로피가 급격히 감소 (2599% 감소). 미세 조정이 모델에게 검증된 출력으로 수렴하도록 가르친다는 것을 의미.
• 수치적 작업 (Numerical):
  • 기저 모델: 낮은 엔트로피 (높은 일관성) 를 보이지만 정확도는 낮음. 이는 "자신감 있는 환각 (Confident Hallucination)" 현상. 모델은 일관되게 틀린 숫자를 생성함.
  • 미세 조정 효과: RMSE(오차) 는 크게 개선되지만, 엔트로피 변화는 일관되지 않음. 모델이 더 정확한 값을 예측하더라도 여전히 "자신감 있게" 틀릴 수 있음을 시사.

B. "LLM Head Bottleneck" (LLM 헤드 병목 현상) 발견

수치적 속성 예측에서 중간 레이어 임베딩이 텍스트 생성보다 더 예측력 있는 정보를 담고 있음이 발견되었습니다.

• 밴드갭 예측: 미세 조정된 모델의 텍스트 출력보다 중간 레이어 임베딩을 직접 회귀에 사용했을 때 동등하거나 더 좋은 성능을 보임. 이는 모델 내부에 정보가 존재하지만, autoregressive 토큰 생성 과정 (언어 모델링 헤드) 에서 정보가 손실되거나 왜곡됨을 의미합니다.
• 유전 상수 예측: 밴드갭과 달리, 임베딩 추출만으로는 텍스트 생성보다 성능이 크게 떨어졌습니다. 이는 속성 (property) 에 따라 인코딩 메커니즘이 다르며, 복잡한 텐서 속성의 경우 미세 조정이 필수적임을 보여줍니다.

C. 지식 그래프 성능의 결정 요인

MatKG 태스크에서 모델의 성능은 엔티티가 훈련 컨텍스트에서 얼마나 다양하게 등장하는지 (분포적 표현) 에 의해 결정되었습니다.

• 특정 재료 (예: PZT) 가 다양한 문맥 (페로전기성, 센서 응용 등) 에서 자주 등장할수록 미세 조정 후 예측 정확도가 높았습니다.
• 이는 LLM 이 물리적 인과관계를 이해하는 것이 아니라, 통계적 연관성 (Distributional Semantics) 을 통해 관계를 학습함을 시사합니다.

D. 시간적 안정성 및 재현성 위기

18 개월 동안 GPT 모델의 성능을 추적한 결과, 9% 에서 최대 43% 까지 성능 변동이 발생했습니다.

• 특히 GPT-4o 는 2024 년 11 월의 undocumented API 업데이트로 인해 하루 만에 RMSE 가 약 0.5 단위나 변동했습니다.
• 미세 조정된 모델조차 이러한 변동성을 완전히 차단하지 못했습니다. 이는 API 기반 모델을 과학적 연구에 사용할 때 재현성에 심각한 위협이 됨을 경고합니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 재료 과학 및 재료 정보학 (Materials Informatics) 분야에서 LLM 을 배포할 때 고려해야 할 중요한 통찰을 제공합니다:

1. 불확실성 정량화의 재고: 수치 예측에서 낮은 엔트로피는 높은 신뢰도를 의미하지 않습니다. "자신감 있는 환각"이 발생할 수 있으므로, 수치 예측에는 엔트로피 기반의 불확실성 추정만으로는 부족합니다.
2. 효율적인 예측 전략: 밴드갭과 같은 잘 정의된 속성의 경우, 전체 모델을 미세 조정하여 텍스트를 생성하는 대신 중간 임베딩을 추출하여 경량 회귀 모델을 사용하는 것이 계산 비용 효율적이고 정확할 수 있습니다.
3. 재현성 프로토콜 필요: API 기반 모델의 성능 변동은 과학적 연구의 재현성을 위협하므로, 연구 시 정확한 모델 버전, 평가 날짜, 그리고 가능한 경우 고정된 가중치 (open-weights) 모델을 사용해야 합니다.
4. 지식 표현의 한계: LLM 은 물리적 이해가 아닌 통계적 패턴 매칭을 기반으로 작동하며, 희귀한 재료 조합이나 복잡한 속성 예측에는 한계가 있음을 보여줍니다.

결론적으로, 이 연구는 LLM 이 재료 과학에 적용될 때 작업 유형 (기호 vs 수치) 과 출력 방식에 따라 모델의 신뢰성과 작동 메커니즘이 근본적으로 다르다는 것을 규명하여, 보다 책임 있고 효과적인 LLM 활용을 위한 가이드라인을 제시합니다.