History-Aware Text Representations for Polymer Property Prediction from Literature-Derived Records

기술 요약: 고분자 물성 예측을 위한 이력 인지형 텍스트 표현(History-Aware Text Representations)

문제 정의
거시적인 고분자 물성은 반복 단위의 화학 구조뿐만 아니라 합성 경로, 가공 조건 및 배합 상세 정보에 의해서도 결정된다. 그러나 기존의 고분자 물성 예측 머신러닝 파이프라인은 주로 "구조 전용(structure-only)" 인코더(예: PolyBERT, PerioGT)에 의존하며, 이는 재료를 정형화된 반복 단위 표현(SMILES 또는 분자 그래프)으로 축소한다. 이러한 방식은 결정적인 실험 이력을 누락시키며, 동일한 단량체 화학를 가졌으나 서로 다른 가공 또는 합성 이력을 가진 별개의 고분자 변체들이 동일한 모델 입력값으로 수렴하게 만든다. 또한, 구조 전용 인코더는 정형화된 반복 단위 SMILES를 사용할 수 없거나 그것만으로는 불충분한 블렌드, 복합재, 상용 수지와 같은 복잡한 시스템을 다루는 데 어려움을 겪는다. 이러한 표현의 공백은 이질적인 문헌 유래 기록으로부터 현실적인 구조-공정-물성 관계를 학습하는 능력을 제한한다.

방법론: HHT 프레임워크
저자들은 고분자 기록을 압축된 분자 구조가 아닌 자연어 기술로 취급하는 Holistic History-aware Text (HHT) 프레임워크를 도입한다.

• 데이터 큐레이션: 연구팀은 6가지 물성($T_g$, $T_m$, $E$, UTS, $\varepsilon$, $n$)을 다루는 1,000개 이상의 과학 논문에서 9,415개의 기록을 큐레이션했다. 추출 파이프라인은 전체 텍스트 PDF를 마크다운(Markdown)으로 변환하고, 초안 생성 및 검토를 위한 2단계 LLM 프로세스를 사용하며, 스키마 검증 및 단위 정규화를 적용한다.
• 표현(Representation): 각 기록은 단량체 정체성, 합성 경로, 가공 조건, 배합, 첨가제 및 측정 맥락을 명시적으로 포함하는 "이력 인지형 텍스트"로 변환된다.
• 모델 아키텍처: HHT는 사전 학습된 동결(frozen) LLM(주요 실험에서는 ChemDFM-v1.5-8B 사용)을 특징 추출기로 채택한다. 텍스트 입력의 최종 레이어 은닉 상태(hidden states)는 디스크에 캐싱된다. 이후 학습된 시그모이드 게이트 풀링 레이어와 2층 MLP로 구성된 경량 회귀 헤드가 이 캐싱된 표현들을 학습하여 물성을 예측한다. 이 설계는 하이퍼파라미터 튜닝 중에 반복적인 백본 추론이 발생하는 것을 방지한다.
• 평가 프로토콜: 문헌에서 채굴된 데이터셋은 강한 논문 수준의 클러스터링 특성(동일 논문의 샘в플들이 다른 논문의 샘브플들보다 서로 더 유사함)을 보인다는 점을 인식하여, 저자들은 **논문 수준 베이스라인(article-level baseline)**을 도입한다. 이 널 모델(null model)은 동일한 출처 논문의 훈련 샘플 평균/중앙값을 사용하여 테스트 샘플을 예측한다. 이 베이스라인은 무작위 훈련-테스트 분할로 인해 발생하는 논문 수준 정보 누출(leakage)으로 인한 성능 과대평가를 방지하기 위한 맥락적 참조 역할을 한다.

주요 결과

• 구조 전용 인코더 대비 성능: HHT는 6가지 모든 물성에서 구조 전용 인코더(PolyBERT 및 PerioGT)보다 우수한 성능을 보였다. 개선 효과는 가공 및 계층 구조에 민감한 물성인 영률($E$)과 극한 인장 강도(UTS)에서 가장 두드러졌다. $E$의 경우, HHT는 RMSE를 12.3까지 낮추었으며, 이는 PolyBERT(38.1) 및 PerioGT(39.0)와 비교했을 때 약 3배의 감소를 의미한다.
• 논문 수준 베이스라인 대비 성능: HHT는 6가지 중 5가지 물성($T_g$, $T_m$, $E$, $\varepsilon$, $n$)에서 논문 수준 베이스라인을 능가하였으며, 이는 학습된 텍스트 표현이 단순한 출판물별 클러스터링을 넘어 전이 가능한 정보를 포착함을 나타낸다. UTS의 경우, HHT는 논문 수준 베이스라인과 거의 구별되지 않는 성능을 보였는데, 이는 현재의 데이터 체계 하에서 해당 물성이 여전히 논문 수준의 구조에 크게 영향을 받는다는 것을 시사하지만, 그럼에도 HHT는 구조 전용 인코더보다는 유의미하게 높은 성능을 보였다.
• 데이터 효율성: HHT는 탁월한 데이터 효율성을 입증했다. 훈련 데이터의 20%만 사용했을 때도 HHT는 5가지 물성에 대해 전체 데이터셋으로 학습된 구조 전용 인코더보다 우수한 성능을 보였다.
• 절제 연구(Ablation Studies):
  • 백본(Backbone): 도메인 특화 화학 LLM(ChemDFM)이 일반 목적 모델보다 일반적으로 더 나은 표현을 제공했으나, 모델 크기 자체가 성능과 상관관계를 갖지는 않았다.
  • 입력 전략: 가장 성능이 좋았던 구성은 구조화된 기록과 기술적 재구성(descriptive reformulations)을 혼합한 동적 훈련 전략을 사용하였고, 깨끗한 구조화된 텍스트로 평가되었다. 계층 구조 기술자(예: 결정성)는 사용 가능할 때 성능을 향상시켰으나, 실용적인 구성에서는 필수적이지 않았다.
  • 지속적 학습(Continual Training): LLM 백본을 동결한 상태에서 특정 도메인(예: 에폭시 복합재 또는 상변화 물질)에 대해 회귀 헤드를 미세 조정하는 도메인 특화 지속 학습 전략은 상당한 이득을 가져왔다. 에폭시 $E$에 대해, 적응형 HHT는 $R^2$ 0.976을 달성하여 구조 전용 베이스라인($R^2 \approx 0.03-0.07$)을 압도했다.

의의 및 주장
본 논문은 HHT가 반복 단위 화학만으로는 포착할 수 없는 이질적인 문헌 유래 기록으로부터 구조-공정-물성 학습을 확장할 수 있는 실용적인 프레임워크를 제공한다고 주장한다. 구성 성분과 공정 이력을 텍스트 표현 내에 유지함으로써, 이 프레임워크는 구조 전용 파이프라인에서 흔히 버려지는 복잡한 배합 및 고분자 변체를 포함할 수 있게 한다.

저자들은 HHT의 주요 가치가 단순히 분자 인코더를 텍스트로 대체하는 것이 아니라, 물성이 발생하는 실험적 맥락을 포함하도록 표현의 범위를 확장하는 데 있다고 강조한다. 이 접근 방식은 특히 공정에 크게 의존하는 물성에 대해 문헌 규모의 데이터로부터 학습할 수 있는 자원 효율적인 경로를 제공한다고 주장한다. 또한, 본 연구는 문헌 채굴 데이터셋에서 정확한 일반화 능력을 평가하기 위해 논문 인지적(article-aware) 평가 지표의 필요성을 강조하며, 무작위 분할에서의 높은 성능이 실제 예측 능력이 아닌 단순한 논문 수준의 클러스터링을 반영할 수 있음을 경고한다. 마지막으로, 저자들은 HHT와 같은 모델이 후보 조성 및 공정 이력을 실험적 검증 전에 스크리닝하는 역설계 워크플로우의 물성 평가기로서 기능할 수 있음을 시사한다.