Automated Extraction of Material Properties using LLM-based AI Agents

이 논문은 대규모 LLM 기반 에이전트 워크플로우를 활용해 약 1 만 편의 과학 논문에서 열전 및 구조적 특성을 자동 추출하여 2 만 7 천 8 백여 개의 레코드로 구성된 가장 큰 규모의 데이터셋을 구축하고, 이를 통해 재료 발견을 가속화할 수 있는 확장 가능한 파이프라인과 공개 도구를 제시합니다.

핵심

이 논문은 **"과학책 속에 숨겨진 보물 (재료 데이터) 을 AI 가 자동으로 찾아내는 방법"**에 대한 이야기입니다.

전통적으로 새로운 재료를 발견하려면 과학자들이 수천 편의 논문 (과학 책) 을 직접 읽고, 손으로 데이터를 적어내야 했습니다. 하지만 이는 너무 느리고 비효율적이었죠. 이 연구는 **거대 언어 모델 (LLM, 즉 고도화된 AI)**을 활용하여 이 과정을 자동화했습니다.

이 복잡한 기술을 누구나 이해할 수 있도록 **마치 "초능력을 가진 도서관 사서"**가 등장한 상황으로 비유해 설명해 드리겠습니다.

---

1. 문제: 도서관에 쌓인 '보물'들

상상해 보세요. 전 세계 과학 도서관에는 수만 권의 과학 논문이라는 책이 쌓여 있습니다. 이 책들 안에는 **"어떤 재료가 얼마나 좋은 열전 성능을 가지는지"**에 대한 엄청난 보물 (데이터) 이 숨겨져 있습니다.

하지만 문제는 이 보물들이 **글자 (텍스트) 와 표 (그림)**로 뒤죽박죽 섞여 있다는 점입니다. 컴퓨터는 이걸 바로 읽을 수 없죠. 그래서 예전에는 사람이 직접 책을 펼쳐서 하나하나 데이터를 적어야 했습니다. 이는 마치 수만 권의 책에서 손으로 숫자를 적어내느라 시간이 너무 오래 걸리는 일과 같습니다.

2. 해결책: AI 사서 팀 (에이전트) 의 등장

이 연구팀은 AI 사서 팀을 꾸렸습니다. 이 팀은 단순히 책을 읽는 게 아니라, 각자 다른 역할을 하는 전문가들로 구성되어 있습니다.

• 팀장 (MatFindr): 책 전체를 훑어보며 "어디에 '열전 재료' 이야기가 나오지?"라고 찾아냅니다.
• 전문가 A (TEPropAgent): "이 재료의 전기 전도도나 열전도도는 얼마야?"라고 숫자 데이터를 정확히 뽑아냅니다.
• 전문가 B (StructPropAgent): "이 재료의 결정 구조나 도핑 (불순물 첨가) 방식은 뭐야?"라고 구조 정보를 찾아냅니다.
• 전문가 C (TableDataAgent): 책 속에 있는 **표 (Table)**를 특별히 분석합니다. 표는 숫자가 많아서 AI 가 헷갈리기 쉽지만, 이 전문가가 깔끔하게 정리해 줍니다.

이 팀은 LangGraph라는 시스템으로 연결되어, 마치 레고 블록처럼 서로 협력하며 데이터를 추출합니다.

3. 지혜로운 자원 관리: "돈을 아끼는 AI"

AI 를 쓰려면 비용 (돈) 이 듭니다. 논문은 길고 복잡해서 AI 에게 모든 내용을 다 읽히면 비용이 천문학적으로 늘어납니다.

그래서 이 연구팀은 똑똑한 예산 관리 시스템을 만들었습니다.

• 동적 토큰 할당: 책의 길이에 따라 AI 에게 할당하는 '기억 공간 (토큰)'을 조절합니다. 짧은 글은 적게, 긴 글은 많이 할당하되, 불필요한 부분은 과감히 잘라냅니다.
• 모델 선택 전략: 가장 똑똑한 AI(GPT-4.1) 가 정확도는 가장 좋지만 비쌉니다. 반면, 조금 덜 똑똑하지만 저렴한 AI(GPT-4.1 Mini) 는 99% 의 성능을 내면서 비용은 1/10 로 줄여줍니다. 연구팀은 이 '가성비'가 좋은 모델을 선택해 1 만 권의 책을 처리했습니다.

4. 결과: 거대한 보물 창고 (데이터셋)

이 AI 팀이 약 1 만 편의 논문을 분석한 결과, 27,822 개의 정확한 데이터를 추출해냈습니다.

• 무엇을 찾았나요? 재료의 이름, 온도, 전기/열 전도도, 결정 구조, 도핑 방법 등.
• 어떤 통찰을 얻었나요?
  • "알로이 (합금) 재료가 산화물보다 성능이 더 좋구나!"
  • "p 형 도핑을 한 재료가 더 잘 작동하구나!"
  • 기존에 알려진 과학적 사실들을 AI 가 다시 확인해주었고, 새로운 패턴도 찾아냈습니다.

5. 선물: 누구나 쓸 수 있는 '인터랙티브 지도'

연구팀은 이 거대한 데이터를 누구나 쉽게 검색하고 볼 수 있는 웹사이트로 만들었습니다.

• "나에게 500K(섭씨 227 도) 에서 좋은 재료가 필요해!"
• "결정 구조가 '입방정 (Cubic)'인 것만 보여줘!"
  이렇게 검색하면 AI 가 바로 딱 맞는 데이터를 찾아줍니다. 마치 구글 지도에서 원하는 장소를 검색하듯 재료 데이터를 찾을 수 있게 된 것입니다.

---

🌟 한 줄 요약

이 논문은 **"수만 권의 과학 논문 속에 숨겨진 보물 (데이터) 을, 비용 효율적인 AI 팀이 자동으로 찾아내어, 누구나 쉽게 쓸 수 있는 거대한 지도로 만들어냈다"**는 이야기입니다.

이제 과학자들은 더 이상 손으로 데이터를 적는 노동을 하지 않아도 되며, AI 가 찾아준 데이터를 바탕으로 더 빠르고 똑똑한 새로운 재료를 발견할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

재료 정보학 (Materials Informatics) 분야는 고처리량 실험 및 시뮬레이션을 통해 새로운 데이터를 생성할 수 있지만, 기존에 출판된 방대한 양의 연구 논문 (역사적 데이터) 은 비정형 텍스트와 표 형태로 존재하여 기계가 읽을 수 있는 구조화된 데이터셋으로 재사용하기 어렵다는 데이터 준비성 (Data Readiness) 부족이라는 병목 현상에 직면해 있습니다.

• 기존 한계:
  • 기존 데이터베이스는 규모가 작거나, 수동으로 큐레이션되었으며, 이상적인 1 차 원리 (First-principles) 계산 결과에 편향되어 실제 실험 데이터가 충분히 반영되지 않음.
  • 기존 NLP/LLM 기반 추출 도구들은 주로 텍스트만 처리하거나, 표 (Table) 와 캡션에 포함된 풍부한 정량적 데이터를 간과함.
  • 대규모 추출 시 비용과 정확도 간의 균형 (Cost-Quality Trade-off) 을 고려한 에이전트 제어 메커니즘이 부재함.
• 목표: 열전 (Thermoelectric) 재료의 성능 지표와 구조적 특성을 대규모로 자동 추출하여, 실험 기반의 대규모 구조 - 특성 (Structure-Property) 데이터셋을 구축하는 것.

2. 방법론 (Methodology)

저자들은 LangGraph 프레임워크를 기반으로 한 에이전트 기반 (Agentic) LLM 워크플로우를 개발했습니다. 이 시스템은 약 10,000 편의 전체 텍스트 논문을 대상으로 작동하며, 다음과 같은 핵심 기술적 요소를 포함합니다.

A. 데이터 수집 및 전처리

• 소스: Elsevier, RSC, Springer 등 주요 출판사의 약 10,000 편의 오픈 액세스 논문 (XML/HTML 형식 우선).
• 전처리: Python 파이프라인을 통해 불필요한 섹션 (결론, 참고문헌 등) 을 제거하고, 정규 표현식 (Regex) 과 LLM 을 활용하여 재료 특성 관련 문장만 선별하여 토큰 수를 최적화합니다.

B. 다중 에이전트 워크플로우 (Multi-Agent Workflow)

시스템은 4 가지 전문화된 LLM 에이전트로 구성되며, 상태 기반 그래프 (State-based Graph) 로 조율됩니다.

1. MatFindr (Material Candidate Finder): 논문 전체를 스캔하여 열전 특성이 보고된 후보 재료 목록을 식별합니다. (정확도 향상을 위해 수치 데이터나 단위와 함께 언급된 경우만 선별).
2. TEPropAgent (Thermoelectric Property Extractor): ZT, 제벡 계수 (S), 전기 전도도 ($\sigma$), 열전도도 ($\kappa$), 파워 팩터 (PF) 및 측정 온도를 추출합니다.
3. StructPropAgent (Structural Information Extractor): 결정 구조, 공간군, 도핑 유형, 도펀트, 가공 방법 등 구조적 속성을 추출합니다.
4. TableDataAgent (Table Data Extractor): 텍스트뿐만 아니라 표와 캡션의 데이터를 구조화하여 추출합니다. 텍스트와 표의 데이터 일관성을 검증하고, 텍스트에 없는 값은 표에서 채워 넣습니다.

C. 최적화 전략

• 동적 토큰 할당 (Dynamic Token Allocation): 입력 텍스트의 길이에 따라 max_tokens 를 동적으로 조정하여 비용과 지연 시간을 최적화합니다.
• 제로샷 (Zero-shot) 추출: 별도의 모델 미세 조정 없이 프롬프트 엔지니어링과 에이전트 분업을 통해 다양한 재료 클래스에 적용 가능합니다.
• 강건한 파싱: JSON 출력 형식을 엄격하게 검증하고, 오류 발생 시 자동 수정 로직을 적용합니다.

3. 주요 성과 및 결과 (Key Results)

A. 모델 성능 벤치마킹 (50 편의 논문 기반)

4 가지 최신 LLM(GPT-4.1, GPT-4.1 Mini, Gemini 1.5 Pro, Gemini 2.0 Flash) 을 비교 평가했습니다.

• 정확도: GPT-4.1이 열전 특성 (F1 ≈ 0.91) 과 구조적 특성 (F1 ≈ 0.82) 모두에서 가장 높은 정확도를 보였습니다.
• 비용 대비 효율성: GPT-4.1 Mini는 GPT-4.1 과 거의 유사한 성능 (열전 F1 ≈ 0.89, 구조적 F1 ≈ 0.81) 을 보이면서 API 비용은 5~10 배 낮아 대규모 배포에 가장 적합한 모델로 선정되었습니다.
• Gemini 모델: 정밀도 (Precision) 는 높았으나 재현율 (Recall) 이 낮아 유효한 값을 놓치는 경향이 있었습니다.

B. 구축된 데이터셋 (Dataset)

• 규모: 약 10,000 편의 논문에서 추출된 27,822 개의 온도 분해된 (Temperature-resolved) 특성 기록.
• 포함 정보:
  • 열전 특성: ZT, S, $\sigma$, $\rho$, PF, $\kappa$ (모든 값은 단위 정규화됨).
  • 구조적 특성: 결정계, 공간군, 도핑 전략, 합금/산화물/칼코겐화물 등 화합물 유형.
• 데이터 품질: 수동 큐레이션된 기준 데이터와 비교하여 높은 일관성을 보였으며, 기존 데이터베이스보다 실험 데이터의 비중이 훨씬 큽니다.

C. 데이터 분석 통찰 (Insights)

• 재료별 성능: 합금 (Alloys) 이 산화물 (Oxides) 보다 우수한 열전 성능을 보이며, p-type 도핑이 n-type 보다 일반적으로 더 높은 ZT 값을 가짐을 재확인했습니다.
• 구조 - 특성 상관관계: 결정 구조 (입방정계 등) 와 도핑 전략이 전기 전도도와 열전도도에 미치는 영향을 대규모로 분석하여 새로운 상관관계를 발견했습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 최대 규모의 LLM 큐레이션 데이터셋: 현재까지 공개된 열전 특성 데이터 중 가장 크고 포괄적인 실험 기반 데이터셋을 제공하며, 공개된 웹 탐색기 (Interactive Web Explorer) 를 통해 연구자들이 의미 검색, 수치 필터링, CSV 내보내기를 자유롭게 할 수 있게 했습니다.
2. 재현 가능하고 비용 효율적인 파이프라인: 비용과 정확도의 균형을 고려한 에이전트 기반 추출 워크플로우를 제시하여, 대규모 과학 문헌 마이닝의 새로운 표준을 제시했습니다. 특히 GPT-4.1 Mini 의 경제적 효율성을 입증했습니다.
3. 확장성 (Generalizability): 열전 재료에 국한되지 않고, 프롬프트 템플릿과 스키마만 수정하면 배터리, 촉매, 자성 재료 등 다른 기능성 재료 분야로 쉽게 적용 가능한 범용 아키텍처를 제시했습니다.
4. 재료 발견 가속화: 이 데이터셋과 워크플로우는 머신러닝 모델 학습의 기초 자료로 활용되어 차세대 재료 발견 사이클을 단축하고 가설 생성을 가속화할 것으로 기대됩니다.

5. 결론

이 연구는 비정형 과학 문헌에서 구조화된 재료 데이터를 추출하기 위한 에이전트 기반 LLM 워크플로우를 성공적으로 구현하고 검증했습니다. 비용 효율적인 모델 (GPT-4.1 Mini) 을 활용하여 대규모 데이터셋을 구축함으로써, 재료 과학 분야에서 데이터 기반 발견 (Data-driven Discovery) 의 장벽을 낮추고, 향후 다양한 재료 분야로의 확장을 위한 토대를 마련했습니다.

• 코드 및 데이터 접근: GitHub(https://github.com/CMEG-IITR/Agentic_data_extraction) 및 웹 탐색기 (https://cmeg-iitr.github.io/thermoelectric_dataset) 를 통해 오픈 소스로 제공됩니다.