기술 요약: 에이전트가 반응을 가격 책정할 수 있는가? 화학 비용 추론에 대한 LLM 평가

문제 제기

대형 언어 모델 (LLM) 은 일반 도메인 (예: 소프트웨어 공학, 웹 탐색) 에서 도구 사용 에이전트로서 역량이 증가하고 있음을 보여주었지만, 과학적 도구 사용에 대한 그들의 성능에 대한 엄격한 평가는 여전히 제한적입니다. 기존 벤치마크는 종종 큐레이션된 데모, 전문가 평가, 또는 "LLM-as-judge" 점수 매기기에 의존하며, 정확한 판정자 없는 기준치 (ground truth) 를 제공하지는 못합니다.

특히 화학 분야에서 에이전트는 합성을 계획하고 도메인 도구를 호출할 수 있지만, 화학 조달 비용 추정을 위한 통제된 테스트베드가 부족합니다. 이는 에이전트가 다음을 수행해야 하는 실용적인 산업적 과제입니다:

1. 모호한 화학 이름을 고유한 분자 구조에 연결 (grounding) 합니다.
2. 가격 데이터베이스에서 조각난 공급업체 견적을 검색합니다.
3. 순도와 수량 제약 조건 하에서 유효한 구매 가능한 팩을 선택합니다.
4. 수량을 정규화합니다 (당량, 몰%, 부피를 질량으로 변환).
5. 반응 설명에 기반하여 비용을 집계하기 위해 정확한 산술 연산을 수행합니다.

현재 평가들은 특정 실패 모드 (예: 연결 오류 대 산술 오류) 를 분리하거나 이러한 다단계 워크플로우에 대한 결정론적이고 재현 가능한 레이블을 제공하지 못합니다.

방법론: CHEMCOST 벤치마크

이 격차를 해소하기 위해 저자들은 화학 조달 비용 추정에 대한 LLM 에이전트의 결정론적 평가를 위해 설계된 CHEMCOST 벤치마크를 소개합니다.

데이터셋 구축

• 규모: 이 벤치마크는 오픈 리액션 데이터베이스, 명명된 반응 교과서, Organic Syntheses, 역합성 경로 컬렉션 (PaRoutes, ChemPU), 그리고 수작업으로 제작된 예시 등 다섯 가지 출처에서 추출된 1,427 개의 평가 가능한 반응으로 구성됩니다.
• 기준치 (Ground Truth): 레이블은 2,261 가지 화학 물질을 포괄하는 230,775 개의 팩 단위 공급업체 견적에 대한 동결된 스냅샷에서 결정론적으로 계산됩니다.
• 조달 규칙: 기준치는 고정된 1 mmol 한계 시약 규모를 가정합니다. 비용은 다음에 따라 계산됩니다:
  • 한계 시약을 식별합니다.
  • 각 비용매 성분에 대해 필요한 질량을 계산합니다 ($m_i = e_i \times MW_i \times 10^{-3}$ g).
  • 필요한 질량을 충족하는 가장 작은 유효 팩 (순도 $\ge$ 95%) 을 선택합니다. 단일 팩이 충분하지 않은 경우, 가장 큰 팩을 최소 개수만큼 구매합니다.
  • 얻은 생성물의 그램 수 (수율 고려) 로 총 구매 비용을 정규화합니다.
• 노이즈 주입: 견고성을 테스트하기 위해 기준치를 유지하면서 입력을 교란하는 4 층 노이즈 파이프라인이 적용됩니다:
  1. 화학 이름 노이즈: 동의어 처리, 약어 (예: TEA), 그리고 이성질체 모호성.
  2. 수량 노이즈: 몰%, 당량, 부피, 그리고 모호한 용어 (예: "과량") 간 변환.
  3. 정보 누락: 분자량, 수율, 또는 역할과 같은 필드 생략.
  4. 형식 노이즈: OCR 아티팩트, 자연어 산문, 그리고 유니코드 저하 시뮬레이션.

평가 프로토콜

• 에이전트 설정: 에이전트는 최대 40 단계 예산을 가진 ReAct(추론 + 행동) 루프로 작동합니다. 이들은 네 가지 결정론적 도구 (화학 이름 해결, 공급업체 견적 검색, 분자량 계산, 산술) 를 갖추고 있습니다.
• 지표: 주요 지표는 기준치 대비 $k\%$ 상대 오차 이내의 예측 비율로 정의된 **비용 허용 정확도 (CTA@k)**입니다. 추가 지표로는 구성 요소 정밀도/재현율, 도구 효율성, 그리고 기권 (abstention) 비율이 포함됩니다.
• 평가된 모델: 다양한 최첨단, 오픈 가중치, 그리고 화학 특화 모델 (예: GPT-5, Qwen3.5-Plus, DeepSeek V4 Pro, ChemDFM, LlaSMol) 이 평가되었습니다.

주요 결과

1. 도구 접근은 필요하지만 불충분함

• 성능 한계: 가장 강력한 에이전트 (Qwen3.5-Plus) 조차도 깨끗한 입력에서 25% 상대 오차 이내 (CTA@25) 에서 50.6% 정확도만 달성합니다. 더 엄격한 지표 (CTA@10) 와 노이즈 하에서는 성능이 크게 저하됩니다.
• 특화 격차: 화학 특화 모델 (예: ChemDFM, ChemLLM) 은 높은 구성 요소 인식 (정밀도/재현율) 을 보이지만 거의 0 에 가까운 비용 정확도를 보입니다. 이는 도메인 지식만으로는 효과적인 에이전트 추론이나 정량적 집계를 보장하지 못함을 나타냅니다.
• 도구 의존성: 도구 없이 제로샷 (Zero-shot) 및 체인 오브 씽킹 (CoT) 접근법은 성능이 낮습니다 (CTA@25 < 8%), 이는 특정하고 최신의 공급업체 가격을 검색하고 정확한 팩 선택을 수행하는 데 매개변수적 지식만으로는 부족함을 확인시켜 줍니다.

2. 실패 모드와 견고성

• 형식 노이즈가 결정적입니다: 형식 교란 (예: OCR 오류, 비구조화된 텍스트) 은 에이전트 기권의 가장 강력한 유발 요인이며, 최첨단 모델 전반에서 기권율을 약 26% 포인트 증가시킵니다. 이는 초기 파싱 단계를 방해하여 워크플로우가 시작되는 것을 막습니다.
• 도구 사용 패턴:
  • 필요성: 도구 참여와 성공 간에는 강한 상관관계 ($r=0.98$) 가 있습니다; 도구를 호출하지 않는 모델은 실패합니다.
  • 비효율성: 단순히 도구를 호출하는 것만으로는 충분하지 않습니다. 실패한 궤적은 종종 수렴하지 않는 검색(유효한 팩을 선택하지 않고 반복적으로 쿼리) 이나 조기 종료를 포함합니다. 실패 사례는 종종 성공 사례보다 더 많은 도구 호출을 사용합니다.
• 인식 대 계산: 에이전트는 종종 화학 성분을 정확하게 식별할 수 있지만 (높은 정밀도), 이를 올바른 조달 상태로 구성하는 데 실패합니다 (낮은 CTA). 인식과 계산 간의 격차는 노이즈 하에서 현저히 확대됩니다.

3. 구조적 난이도

• 경로 깊이: 합성 단계 수는 난이도의 지배적 요인입니다. 정확도는 단일 단계 반응의 약 42% 에서 35 단계의 다단계 경로의 약 1113% 로 떨어집니다.
• 구성 요소 수: 단일 단계 반응 내에서 구성 요소 수는 모델 의존적 영향을 미칩니다; 일부 모델은 더 풍부한 검색 컨텍스트로 인해 다성분 레시피를 더 잘 처리합니다.

중요성과 주장

이 논문은 CHEMCOST가 현실적인 산업 워크플로우에서 과학적 도구 사용을 평가하는 최초의 엄격하고 판정자 없는 벤치마크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. "블랙박스" 평가를 넘어선 이동: 작업을 연결, 검색, 팩 선택, 집합으로 분해함으로써, 벤치마크는 에이전트가 어디서 실패하는지 (예: 취약한 파싱 대 비효율적인 증거 통합) 단계별 진단을 가능하게 합니다.
2. "연결 (Grounding)" 격차 강조: 결과는 LLM 이 일반적인 도구 오케스트레이션에서는 개선되고 있지만, 과학적 도메인의 특정 제약 조건 (모호한 개체 해결, 엄격한 조달 규칙 준수, 노이즈가 있는 입력 하에서 정량적 상태 추적 유지) 에는 어려움을 겪고 있음을 보여줍니다.
3. 미래 방향 정의: 저자들은 과학적 에이전트의 진보가 단순히 더 나은 모델뿐만 아니라 신뢰할 수 있는 연결, 검색 인지 상태 추적, 그리고 보정된 기권 메커니즘을 필요로 한다고 주장합니다. 현재 최첨단 기술은 도구 접근이 전제 조건임을 시사하지만, 검색된 증거를 일관된 정량적 의사결정으로 통합하는 것은 여전히 중요한 과제로 남아 있습니다.

저자들은 에이전트가 비용을 근사할 수는 있지만, 현실적인 조건 하에서 신뢰할 수 있고 정확한 조달 추론은 여전히 해결되지 않은 문제이며, 구조화된 도구 사용과 입력 변이에 대한 견고성에 대한 추가 연구가 필요하다고 결론 내립니다.