⚡ 전기공학

The Novelty Horizon H_N: Why Large Language Models Fail to Generate Scientific Data beyond Their Training Distribution

이 논문은 거대 언어 모델이 물리적 접지력과 인과적 추론의 결여로 인해 훈련 분포를 벗어난 과학적으로 유효한 데이터를 생성하는 데 근본적으로 실패함을 입증하며, 진정한 과학적 발견을 위해 하이브리드 신경-기호 시스템이 필수적임을 나타내는 "새로움의 지평(Novelty Horizon)"을 설정한다.

원저자: Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

게시일 2026-11-04✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 실험실에 새로운 종류의 조수가 도착했다. 이 조수는 수백만 편의 과학 논문을 읽고 몇 초 만에 유창한 보고서를 작성할 수 있다. 대규모 언어 모델로 알려진 이 인공지능 시스템은 방대한 인간 텍스트 모음을 학습한다. 이들은 단어의 패턴을 찾아내고 다음에 올 문장을 예측하는 데 매우 뛰어나다. 연구 논문의 스타일를 매우 잘 흉내 낼 수 있기 때문에, 많은 과학자들은 이 기계가 기존 지식을 요약하는 것 이상의 일을 할 수 있는지 궁금해하기 시작했다. 이 기계들이 한 번도 본 적 없는 실험을 위한 새롭고 유효한 데이터를 생성할 수 있을까? 이 기계들이 과학적 진리의 근간을 형성하는 숫자와 측정값을 만들어내며 발견의 파트너 역할을 할 수 있을까? 이 질문은 과학이 작동하는 방식의 핵심을 찌른다. 실제 과학은 물리적 세계를 측정하는 것에 의존하며, 그곳에서의 모든 측정에는 아주 작은 불확실성이 따르고 원인과 결과는 엄격하고 깨뜨릴 수 없는 법칙을 따른다. 만약 기계가 단순히 이전에 읽은 내용을 바탕으로 다음 단어를 추측하는 것이라면, 겉보기에는 설득력 있게 들릴지 몰라도, 그것이 설명하고 있는 실체를 실제로 이해하고 있는 것일까?

케냐의 연구진은 텍ست을 넘어 물리적 데이터의 영역으로 들어가는 엄격한 테스트를 통해 이 질문에 답하기 위해 나섰다. 그들은 전원의 양극과 음극이 연결되어 전력의 거대한 급증을 일으키는 상황인 단락(short circuit)을 포함하는 특정 전기 실험에 집중했다. 그들의 설정에서는 회로를 보호하기 위해 전압을 특정 수준으로 고정하는 일방향 밸브 역할을 하는 다이오드라는 특별한 부품을 추가했다. 이는 전압과 전류의 관계가 단순한 직선이 아니라 조건에 따라 변하는 곡선이 되는 복잡하고 비선형적인 동작을 만들어낸다. 연구진은 인공지능이 이 특정 실험에 대해 실제 센서가 항상 포착하는 미세하고 무작위적인 변동까지 포함한 현실적인 데이터 세트를 생성할 수 있는지 확인하고 싶었다.

이를 테스트하기 위해 연구진은 세 가지 서로 다른 데이터 세트를 만들었다. 첫 번째는 실제 실험실의 물리적 회로에서 정밀하게 기록된 실제 측정값인 '그라운드 트루스(ground truth)'였다. 두 번째 세트는 전압 및 전류 등 실험의 기본 수치만을 제공받아 결과를 시뮬레이션하는 컴퓨터 프로그램을 작성하도록 요청받은 인공지능으로부터 나왔다. 세 번째 세트는 동일한 유형의 인공지능을 사용했지만, 이번에는 연구진이 실험이 어떻게 구성되었고 측정이 어떻게 이루어졌는지에 대한 상세한 지침을 제공하여 기계가 더 나은 결과를 낼 수 있도록 맥락을 보강했다. 그 후 연구진은 이 세 가지 데이터 세트를 모두 전기에 의해 지배되는 물리 법칙에 대비하여 포렌식 분석을 실시했다.

결과는 극명하고 시사하는 바가 컸다. 인공지능은 모든 경우에서 과학적으로 유효한 데이터를 생성하는 데 실패했다. 기계가 실험을 시뮬레이션하려고 할 때, 표면적으로는 그럴듯해 보이지만 자세히 조사하면 물리적으로 불가능한 숫자들을 만들어냈다. 연구진이 "완벽한 대수적 아티팩트(perfect algebra artifact)"라고 부른 것이 가장 눈에 띄는 오류 중 하나였다. 실제 실험에서는 전압과 전류가 서로 다른 센서에 의해 독립적으로 측정되며, 장비의 미세한 결함 때문에 저항을 계산할 때 수치들이 완벽하게 일치하지 않는다. 값들 사이에는 항상 작고 무작위적인 간격이 존재한다. 그러나 인공지능은 물리 법칙을 정확히 풀어야 할 수학 방정식처럼 취급했다. 그것은 전압과 전류 값을 기계적인 정밀도로 완벽하게 맞아떨어지게 생성하여, 자연스러운 측정 노이즈가 들어설 자리를 남겨두지 않았다. 이는 마치 모든 도로 교차점이 완벽하게 정렬된 지도를 그리는 것과 같으며, 실제 도시의 지도는 서로 다른 작업팀이 서로 다른 시기에 건설했기 때문에 약간의 자연스러운 어긋남이 있는 것과 같다.

실패는 완벽한 숫자 그 이상으로 깊게 진행되었다. 인공지능은 회로 내 다이오드의 구체적인 동작을 이해하는 데에도 어려움을 겪었다. 연구진이 기계에 상세한 지침을 주었을 때, 기계는 숫자의 척도를 현실에 가깝게 조정하기는 했지만, 여전히 근본적인 물리학은 틀렸다. 기계는 전기가 선형적이고 예측 가능한 방식으로 작동하는 것처럼 보이는 데이터를 생성했으며, 다이오드가 만들어내기로 되어 있는 비선형적인 "클램핑(clamping)" 효과를 완전히 놓쳤다. 기계가 생성한 데이터에는 자연계에서는 발생하지 않는 이상한 통계적 패턴, 즉 스파이크와 모양들이 나타났다. 예를 들어, 기계의 노이즈는 너무 평탄하거나 이상한 피크를 가지고 있었는데, 이는 실제 전자 센서에서 발견되는 자연스럽고 굴곡진 노이즈와는 달랐다. 연구진이 기계에게 코드를 먼저 작성하지 말고 숫자를 직접 출력하라고 요청했을 때도 결과는 똑같이 결함이 있었으며, 이는 문제가 코딩의 실수가 아니라 물리적 세계의 인과 구조를 파악하는 근본적인 능력의 부재임을 보여주었다.

연구진은 인공지능 모델들이 소위 "새로움의 지평선(Novelty Horizon)"에 갇혀 있다고 결론지었다. 이는 모델이 학습한 데이터에 의해 정의되는 경계이다. 이 경계 안에서 기계는 이미 본 패턴을 단순히 재배열하기 때문에 잘 작동할 수 있다. 하지만 학습하지 않은 방식으로 인과 관계를 이해해야 하는 새롭고 복잡한 상황에 대한 데이터를 생성하라는 요청을 받으면, 기계는 벽에 부딪힌다. 기계는 학습 범위를 넘어서서 추론(extrapolate)할 수 없다. 기계는 과학자의 언어를 흉내 낼 수는 있지만, 실험의 무질서하고 불확실하며 인과적인 실체를 시뮬레이션할 수는 없다. 이 연구는 이러한 도구들이 정보를 요약하거나 텍스트를 작성하는 데는 강력하지만, 새로운 과학적 데이터를 생성하거나 독립적인 발견자 역할을 하는 데는 신뢰할 수 없음을 보여준다. 인간 과학자는 단순히 작업을 검토하는 것을 넘어, 기계가 근본적으로 결여하고 있는 인과적 추론과 실험 설계를 제공하기 위해 필수적이다. 인공지능과 함께하는 과학의 미래는 아마도 기계가 잘하는 일을 위해 이 도구를 사용하면서도, 발견이라는 힘든 작업을 위해 인간이 과정에 개입하는 '인간 중심의 관리(human in the loop)'를 결합하는 방식에 달려 있을 것이다.

기술 요약: 새로운 지평선(The Novelty Horizon)과 과학적 데이터 생성에 있어서의 LLM의 한계

문제 제기
대규모 언어 모델(LLM)을 과학적 워크플로우에 통합하는 것은 진정한 경험적 발견을 위한 모델의 능력에 대해 중대한 의문을 제기한다. LLM은 통계적 패턴 인식을 통해 언어적으로 그럴듯한 텍스트를 생성하는 데는 뛰어나지만, 물리적 실체에 대한 근거 있는 모델(grounded model)은 결여되어 있다. 본 논문은 "언어적 그럴싸함(linguistic plausibility)"과 "과학적 엄밀성(scientific rigor)" 사이의 구체적인 인식론적 간극을 다룬다. 핵심 문제는, 훈련 데이터의 분포를 기반으로 다음 토큰을 예측하는 자기회귀적(autoregressive) LLM이 훈련 데이터를 넘어서는 외삽(extrapolation)이 필요한 과업에 대해 과학적으로 유효하고 경험적으로 충실한 데이터를 생성할 수 있는가 하는 점이다. 저자들은 통계적 구별 불가능성을 경험적 타당성과 혼동하는 것이 연구의 무결성에 위협이 될 수 있다고 주장하는데, 이는 모델이 텍스트 패턴은 만족시키되 인과적 물리 법칙을 위반하는 물리적으로 불가능한 "환각(hallucinations)"을 생성할 수 있기 때문이다.

방법론
자기회귀적 LLM이 훈련 분포를 벗어난 데이터를 유효하게 생성할 수 없다는 가설을 테스트하기 위해, 저자들은 물리적 근거를 가진 포렌식 분석 프레임워크를 채택하였다. 본 연구는 다이오드 클램프 단락 실험(diode-clamped short-circuit experiment)을 중심으로 한 삼중 비교 설계를 활용하였으며, 이 시스템은 비선형 물리 특성과 특정 노이즈 특성을 가지고 있어 표준 훈련 코퍼스의 일반적인 볼록 껍질(convex hull) 밖에 위치한다.

연구는 세 가지 병렬 데이터셋을 생성하는 방식으로 진행되었다:

사례 1 (비유도형, Unguided): LLM(GPT-5.2 급)이 절차적 맥락 없이 기본 회로 파라미터(2.5V/0.25A, 5.0V/0.5A)만을 바탕으로 시뮬레이션 스크립트와 데이터를 생성함.
사례 2 (유도형, Guided): 동일한 LLM에게 회로 도식, 부품 사양(1N5408 다이오드, ACS712T 센서), 데이터 평균화 프로토콜을 포함한 전체 실험 절차를 제공한 후 스크립트와 데이터를 생성하게 함.
사례 3 (실측값, Ground Truth): 동일한 시스템에 대한 물리적 측정으로부터 얻은 실험 데이터로, 변하지 않는 벤치마크 역할을 수행함.

또한, 코드 생성이라는 중간 단계가 아닌 직접적인 데이터 생성을 통해 오류가 코딩 패러다임의 산물인지 아니면 모델 아키텍처 자체의 근본적인 문제인지를 판단하기 위해 병렬적인 **직접 프롬프트 프레임워크(direct-prompt framework)**를 실시하였다(상세 내용은 보충 정보 참조).

데이터셋은 다음과 같은 다층적 포렌식 분석을 거쳤다:

시계열 및 스펙트럼 분석: 실제 센서 노이즈 시그니처(예: $1/f^\alpha$ 노이즈)와 알고리즘적 아티팩트를 구별하기 위해 자기상관 함수(ACF)와 전력 스펙트럼 밀도(PSD)를 조사함.
물리적 제약 조건 검증: 옴의 법칙(Ohm's Law) 및 전력 보존 법칙 준수 여부를 테스트함. 특히, 측정 노이즈의 독립성을 검증하기 위해 오믹 잔차(Ohmic residuals)(측정된 전압과 전류로부터 유도된 저항 간의 차이)를 분석함.
제1원리 모델 피팅: 반도체 물리학에서 유도된 수정된 옴의 법칙( $v_s(t) = i(t)R_{sc} + nV_T \ln(i(t)/I_s)$ )에 데이터를 피팅하여 파라미터의 타당성과 적합도를 평가함.
영역 분석(Regime Analysis): 선형 영역( $|v_s| < 0.3V$ )과 비선형 영역( $|v_s| \ge 0.3V$ )을 분리하여 훈련 분포의 경계에서의 성능을 테스트함.
생성 충실도 점수(Generative Fidelity Score, GFS): 물리적 제약, 통계적 특성, 모델 적합 품질을 종합한 복합 지표.

주요 기여

이론적 구성 요소: 본 논문은 **과거 정보 경계( $B_P$ )**를 시간적 전선(temporal frontier), 훈련 분포의 지지 집합(support), 학습된 조건부 확률의 순서쌍 $(t_p, \Omega_{train}, C_{train})$ 으로 공식 정의한다. 또한, **새로운 지평선( $H_N$ )**을 모델이 다음의 과업을 신뢰성 있게 수행할 수 없는 경계로 정의한다: (i) $\Omega_{train}$ 의 볼록 껍질 외부로의 외삽, (ii) $C_{train}$ 에 인코딩되지 않은 인과적 추론, 또는 (iii) $t_p$ 이후의 정보.
물리 기반 인증: LLM이 물리 법칙을 독립적인 노이즈가 있는 측정치 사이의 관계가 아니라 결정론적인 타우톨로지(항진명제)로 취급하는 "완벽한 대수적 아티팩트(perfect algebraic artifacts)"를 탐지하는 포렌식 방법론을 도입한다.
정량적 검증: 생성된 데이터가 물리적 실체로부터 얼마나 벗어나는지를 정량화하기 위한 표준화된 지표인 **생성 충실도 점수(GFS)**를 개발하였다.

결과
연구 결과, 유도되지 않은 경우와 유도된 경우 모두 새로운 지평선 너머의 과업에 대해 과학적으로 유효한 데이터를 생성하는 데 있어 근본적인 실패를 보였다:

파괴적인 물리적 불일치: 두 LLM 생성 사례 모두 **완벽한 대수적 폐쇄성(perfect algebraic closure)**을 보였으며, 실험적 실측값의 오믹 잔차가 $5.78 \times 10^{-3} \Omega$ 인 것에 비해 LLM의 잔차는 기계 정밀도 수준인 $10^{-17} \Omega$ 에 달했다. 이는 모델들이 독립적인 측정 과정을 시뮬레이션하는 대신 종속 변수를 결정론적으로 생성했음을 나타낸다.
통계적 병리 현상: 유도된 생성(사례 2)은 극단적인 통계적 이상치를 보였는데, 스크립트 기반 생성의 경우 2.5V 설정에서 첨도(kurtosis) 65.4, 5.0V 설정에서 84.3을 기록했으며, 직접 프롬프트 방식에서는 200 이상을 기록했다. 또한 물리적 센서의 특징인 $1/f$ 노이즈가 결여된 잘못된 스펙트럼 시그니처를 보였다.
영역 배치 오류: 모델들은 비선형 클램핑 영역을 올바르게 탐색하지 못했다. 사례 1은 잘못된 높은 전압 데이터를 생성했고, 사례 2는 명시적인 절차적 가이드에도 불구하고 모든 데이터를 선형 영역( $|v_s| < 0.3V$ ) 내에 잘못 국한시켜 다이오드 클램핑 역학을 시뮬레이션하는 데 실패했다.
모델 피팅 실패: LLM 생성 데이터는 수정된 옴의 법칙에 피팅했을 때 무의ful한 파라미터를 산출했다(예: 음수의 $R^2$ 값, 알고리즘 경계에 도달하는 파라미터). 반면 실험 데이터는 물리적으로 타당한 저항 및 다이오드 파라미터를 산출했다.
직접 프롬프트 확인: 병렬적인 직접 프롬프트 프레임워크를 통해 이러한 실패가 코드 생성의 산물이 아니라 자기회귀 구조 자체의 고유한 특성임을 확인하였으며, 구조적 코드 제약이 제거되었을 때 더욱 심각한 분포적 병리 현상이 나타남을 밝혔다.

의의 및 주장
본 논문은 경험 과학에서 LLM의 적용에 대한 확정적인 경계를 설정한다고 주장한다. 저자들은 **새로운 지평선( $H_N$ )**이 정적 코퍼스로 훈련된 자기회귀 모델에 내재된 구조적 한계라고 주장한다. 저자들의 주장은 다음과 같다:

LLM은 훈련 데이터의 볼록 껍질 내부에서는 보간(interpolation)이 가능하지만, 새로운 실험적 구성이나 훈련에 인코딩되지 않은 인과 구조로의 외삽이 요구될 때 파괴적으로 실패한다.
절차적 맥락을 제공하는 것(프롬프트 엔지니어링)은 수치적 스케일링을 개선할 수는 있으나, 유효한 과학적 데이터 생성을 위해 필요한 인과적 추론이나 측정 독립성에 대한 이해를 부여할 수는 없다.
"완벽한 대수적 아티팩트"는 LLM이 새로운 지평선 너머에서 작동하고 있음을 감지하는 신뢰할 수 있는 진단 도구로 기능한다.
과학에서 LLM의 역할은 **증강 지능(Augmented Intelligence)**으로 재정의되어야 한다. 즉, 문헌 합성, 코드 완성, 가설 생성 등을 위한 도구로서의 역할이지, 실험 설계나 데이터 생성을 수행하는 자율적 에이전트가 아니다.
향후의 발전은 통계적 패턴 인식과 형식적인 인과 세계 모델 및 물리 시뮬레이터를 결합한 하이브리드 신경-기호(neuro-symbolic) 시스템을 필요로 한다.

결론적으로, 현재의 LLM은 과거 정보 경계에 묶여 있어 진정한 과학적 발견의 최전선을 스스로 개척할 수 없으므로, 인과적 추론과 실험 설계에서 인간 과학자의 필수불가결한 역할은 여전히 난공불락이다.

유사한 논문