기술 요약: LLM 의 불규칙성이 과학적 창의성을 해방하다

문제 제기

인공지능이 발전함에 따라 모델의 능력은 작업, 도메인, 또는 규모에 걸쳐 균일하게 향상되지 않습니다. 대신, 진전은 능력이 고르지 않고 불규칙한"불규칙한 전선 (jagged frontier)"을 따릅니다. 이전 문헌은 작업, 모델 규모, 추론 깊이, 그리고 문제 복잡성에 걸쳐 불규칙성을 확인해 왔지만, 과학적 아이디어 생성이라는 특정 맥락 내에서 이 현상을 체계적으로 규명한 연구는 여전히 미흡합니다. 저자들은 과학적 창의성이 개방적이고 생성적이므로 이러한 능력 격차를 드러내는 이상적인 렌즈를 제공한다고 주장합니다. 또한, 이전의 LLM 다양성 향상 노력은 종종 계산 집약적인 훈련 개입이나 개방형 생성을 제한하는 구조화된 다중 LLM 워크플로우에 의존해 왔으므로, 이러한 불규칙한 가장자리를 단순히 매끄럽게 만드는 것이 아니라 활용하여 AI 주도 과학적 발견을 어떻게 강화할 수 있는지에 대한 이해가 필요합니다.

방법론

이를 조사하기 위해 저자들은 브룩헤이븐 국립연구소의 연구자들이 선별한 155 개의 개방형 과학 질문으로 구성된 벤치마크 데이터셋인 SciAidanBench를 도입했습니다. 이 질문들은 물리학 (기초, 천체물리학, 싱크로트론, 응집물질로 세분됨), 화학, 생물학, 신경과학, 나노과학, 그리고 환경과학 등 여섯 가지 과학 분야를 아우릅니다. 질문들은 사실 검색이 아닌 개념 생성 (예:"...에 대한 방법을 제안하시오") 을 장려하도록 구성되었습니다.

본 연구는 8 개 제공업체 (OpenAI, Anthropic, Google 포함 및 LLaMA 3.3 과 Mistral 과 같은 로컬 모델) 의 19 개 기본 모델에서 파생된 30 개의 모델 변형을 평가합니다. 평가 프로토콜은 AidanBench 방법론을 따릅니다:

1. 반복적 생성: 각 질문에 대해 모델은 초기 아이디어 ($r_1$) 를 생성하도록 프롬프트를 받고, 이전 출력의 맥락을 유지하면서 후속 아이디어 ($r_2, r_3, \dots$) 를 생성하도록 반복적으로 프롬프트를 받습니다.
2. 이중 제약 평가: 각 새로운 아이디어는 일관성 (논리적으로 일관되고 프롬프트에 답변함) 과 새로움 (이전 모든 응답과 구별됨) 을 모두 충족해야 합니다.
3. 점수 측정 지표:
   • 임베딩 기반 새로움: 사전 훈련된 임베딩 모델을 사용하여 새로운 응답과 이전 응답 간의 코사인 거리.
   • LLM 기반 새로움: 판정 LLM(o1-mini) 이 이전 응답에 대한 유사성 점수를 평가합니다.
   • 일관성: 판정 LLM 이 0~100 척도로 논리적 일관성을 평가합니다.
   • 응답이 새로움 (<0.15) 또는 일관성 (<15) 임계값 아래로 떨어지면 생성이 중단됩니다. 유효한 응답의 총계는 창의적 잠재력의 대리 지표로 사용됩니다.

주요 기여

1. SciAidanBench: 다양한 과학 하위 분야에 걸쳐 지속적이고 개방적인 아이디어 생성을 통해 LLM 의 과학적 창의성을 측정하도록 설계된 최초의 벤치마크.
2. 불규칙성의 규명: 불규칙성이 세 가지 명확한 수준에서 나타난다는 체계적인 증명:
   • 작업 간: 일반적인 창의성 향상이 과학적 창의성으로 균일하게 전환되지 않음.
   • 프롬프트 수준: 강력한 모델은 높은 변이성을 보이며 특정 질문에서는"창의성의 폭발"을 보이지만 다른 질문에서는 어려움을 겪음.
   • 도메인 수준: 개별 모델은 과학적 하위 분야 전반에 걸쳐 고르지 않은 강점을 가진 단편화된 내부 프로필을 보임.
3. 메타 모델 앙상블: 불규칙성을 자원으로 간주하는 앙상블 전략의 제안 및 평가. 저자들은 모델을 결합하는 메커니즘을 도입합니다:
   • 추론 시간 계산: 솔루션 공간을 확장하기 위해 추론 토큰 활용.
   • 지식 풀링: 특정 도메인 강점을 가진 모델로 질문 라우팅.
   • 브레인스토밍: 모델이 서로의 출력을 기반으로 아이디어를 정제할 수 있도록 하는 교차 모델 아이디어 정제.
   • Top-5-Parallel: 세 가지 메커니즘을 모두 통합한 구성.

결과

• 작업 간 발산: 일반 창의성과 과학적 창의성은 양의 상관관계 ($r=0.76$) 를 보이지만, 그 관계는 균일하지 않습니다. 일반 창의성에서 높은 순위를 차지한 모델이 반드시 과학적 창의성에서도 높은 순위를 차지하는 것은 아닙니다. 예를 들어, OpenAI 모델은 강력한 일반 창의성을 보였으나 과학적 작업에서는 정체되었지만, Anthropic 모델은 일반 성능 대비 과학적 창의성에서 더 우수한 성과를 보였습니다.
• 프롬프트 수준 변이성: 강력한 모델 (예: o3-high, Gemini-2.5-Pro) 은 더 넓은 응답 수 분포를 보여주며, 이는 더 높은 평균 점수가 균일한 개선이 아니라 특정 프롬프트에서의"창의성 폭발"에 의해 주도됨을 나타냅니다. 약한 모델은 일관되게 낮고 좁은 분포를 보입니다.
• 도메인 단편화: 최상위 모델은 하위 분야 전반에 걸쳐 뚜렷한 성능 급증을 보입니다. 예를 들어, Gemini-2.5-Pro 는 응집물질 물리학에서 뛰어났으나 나노과학에서는 약했고, Claude-3.7-Sonnet-Thinking-16k 는 신경과학에서 가장 강력했으나 기초 물리학에서는 약했습니다.
• 앙상블의 우월성:
  • 추론 시간 계산: 추론 모델 (예: Claude-3.7-Sonnet-Thinking) 은 비추론 변형보다 훨씬 뛰어난 성과를 보였으며, 할당된 예산이 아닌 실제 토큰 소비량에 따라 성능이 추적되었습니다.
  • 지식 풀링: 각 특정 도메인에서 가장 잘 수행되는 모델로 질문을 지시하는"라우터"앙상블은 모든 도메인에서 가장 강력한 개별 모델을 능가했습니다.
  • 브레인스토밍: 다섯 개의 최상위 개별 모델에서 샘플링한"Top-5"앙상블은 모든 개별 모델을 능가했습니다. 그러나 공급업체는 다양화하지만 능력은 반드시 다양화하지 않는"Top-5 Vendors"앙상블은 가장 강력한 개별 모델을 능가하지 못했으며, 이는 공급업체 다양성 자체보다 능력 수준이 더 중요함을 시사합니다.
  • Top-5-Parallel: 추론 시간 계산, 지식 풀링, 브레인스토밍을 결합한 앙상블은 일반 및 과학적 창의성 벤치마크 모두에서 가장 높은 점수를 기록하여 단일 모델이나 단일 메커니즘 앙상블을 능가했습니다.

의의 및 주장

이 논문은 불규칙성이 단순히 한계가 아니라 AI 진보의 구조적 자원이라고 주장합니다. 저자들은 불균일한 능력 프로필을 확장이나 정렬을 통해 매끄럽게 만들어야 할 결함으로 보는 대신, 이러한 불규칙성을 활용할 수 있음을 보여줍니다. 메타 모델 앙상블을 통해 이질적인 모델을 조율함으로써 단편화를 시너지로 전환하고, 어떤 단일 모델의 한계를 넘어 과학적 아이디어 생성을 증폭시킬 수 있습니다.

저자들은 개방형 과학적 아이디어 생성에서의 미래 성취가 불규칙한 지능을 명시적으로 인식, 측정, 그리고 조율하는 시스템에서 점점 더 발생할 것이라고 결론지었습니다. 그들은 향후 연구가 사용되지 않는 창의적 모드에 접근하기 위해 의도적인 프롬프트 교란 (예: 교차 도메인 시딩) 을 탐구하고, 협력적 앙상블을 위한 최적의 팀 구조 (계층적 vs 수평적) 를 조사해야 한다고 제안합니다. 이 연구는 SciAidanBench 를 과학적 아이디어 생성의 벤치마크이자 모델 능력의 구조적 이질성을 드러내고 활용하는 프레임워크로 위치시킵니다.