기술 요약: 언어 모델을 이용한 신뢰할 수 있는 물리적 설계를 위한 구조적 인증

문제 정의

대규모 언어 모델(LLM)은 물리적으로 유효한 설계와 동일한 유창성과 자신감을 가지고 물리적으로 유효하지 않은 설계를 생성할 수 있다. 오류가 실제 실험적 또는 계산적 비용을 초래하는 과학 및 공학적 맥락에서, 주요 과제는 단순히 생성을 잘하는 것이 아니라 **인증(certification)**이다. 기존의 접근 방식들은 종종 예측기 자체를 개선하려고 시도하지만(더 많은 파라미터, 데이터, 또는 정렬을 통해), 이는 구조적 결함을 해결하지 못한다. 즉, 모델은 거절할 수 없다. 모든 교과서를 암기한 모델이라 할지라도 학습 분포를 벗어난 질문을 받으면 자신 있게 틀린 답을 내놓는다. 핵심 문제는 모델이 단언할 권위를 유지하고 있다는 점이며, 이로 인해 외부의 비저자(non-authoring) 체크 없이는 올바른 도출과 자신감 넘치는 환각을 구분하는 것이 불가능해진다.

방법론: PHACT 프레임워크

저자들은 설계의 창의적 생성과 그 유효성에 대한 권위적 인증을 분리하는 제안-인증 루프인 **PHACT (Physics-Anchored Certification, 물리 기반 인증)**를 소개한다.

아키텍처

1. 제안자 (The Proposer): 언어 모델(창의적이고 일반적이며 신뢰할 수 없음)이 자연어로 후보 설계를 생성한다.
2. 인증기 (The Certifier): 결정론적 물리 엔진(좁은 범위 내에서 방정식에 따라 정확함)이 지배적인 물리 법칙에 따라 설계를 평가한다.
3. 루프 (The Loop):
   • 모델이 완전히 명시된 설계를 제안한다.
   • 엔진이 제1원리로부터 관련 물리량을 계산한다.
   • 엔진은 세 가지 판정 중 하나를 반환한다: 인증됨 (Certified) (모든 제약 조건을 충족함), 불가능 (Impossible) (동일한 물리적 이유로 인해 서로 다른 시도들이 모두 실패함), 또는 알 수 없음 (Unknown) (목표가 엔진의 역량 범위를 벗어남).
   • 거절 시, 엔진은 타겟팅된 수정 사항(위반된 법칙과 필요한 최소 입력 변경 사항을 식별)을 제공하여 모델의 수정을 유도한다.

구조적 계약 (The Structural Contract)

본 논문은 모델이 테스트되는 양을 직접 제공하는(예: "여기 질량 $m_1, m_2$가 있습니다. 처프 질량이 50 $M_\odot$인지 확인하십시오") 표준적인 "답변 제출형" 검증기의 치명적인 취약점을 지적한다. 이러한 설정에서는 모델이 요청된 시스템과는 다른 시스템을 만족시키기 위해 고정된 입력값(예: $m_1, m_2$를 변경)을 은밀히 수정함으로써 인증서를 위조할 수 있다.

PHACT는 방향성 의존성 그래프로 구현된 구조적 계약을 통해 이를 해결한다:

• 결합 입력 (Bound Inputs): 목표에 의해 고정된 양들은 읽기 전용 노드이다. 모델은 여기에 쓸 수 없다.
• 자유 변수 (Free Variables): 모델이 선택할 수 있도록 허용된 설계 변수들이다.
• 유도 출력 (Derived Outputs): 인증된 양은 결합 입력과 자유 변수로부터 엔진에 의해 계산된다. 모델은 이 값을 직접 제공할 수 없다.

결합된 입력을 통해 인증된 양을 도출함으로써, 시스템은 위조를 구조적으로 불가능하게 만든다. 모델은 설계를 제안할 수는 있지만, 그 설계의 검증을 저작할 수는 없다.

주요 기여

1. 제안-인증 루프: 물리적 설계를 모델이 아닌 결정론적 엔진이 권위를 갖는 루프로 정식화하였으며, 거절이 유효한 판정이 되는 3값 출력을 도입했다.
2. 위조 조건 식별: 모델이 제공한 양을 수용하는 검증기는 위조 가능하다는 것을 입증했다. 본 논문은 이를 대신하여 결합 입로부터 인증된 양을 도출하는 구조적 계약을 도입함으로써, 80회의 적대적 시험에서 위조된 인증서가 발생하지 않음을 확인했다.
3. 안전성 vs 유용성 트레이드오프: 안전성 제약이 루프를 비현실적으로 보수적으로 만들지 않음을 보여주었다. 실행 가능한 목표에 대해, 이 시스템은 순수 모델보다 실질적으로 더 많은 유효한 설계를 인증하며, 안전성과 유용성이 양립 가능함을 확인했다.
4. 모델 독립성: 안전성 보장이 제안자의 능력과 독립적임을 증명했다. 능력은 루프가 판정을 내리는 데(실행 가능한 인증율) 영향을 미치지만, 생성된 판정이 틀릴 수 있는지 여부는 결정하지 않는다.
5. 개방형 재현성: 엔진, 구조적 계약, 목표 코퍼스 및 분석을 오픈 아카이브로 공개한다. 인증 파이프라인은 자격 증명이나 언어 모델 없이 일반 컴퓨터에서 실행될 수 있어, 어떤 과학자라도 지배적인 물리학에 따라 설계를 스크리닝할 수 있다.

결과

프레임워크는 다섯 가지 영역에서 평가되었다: 드론 공기역학, DNA 열역학, 천체물리학(중력파), 아날로그 전자 공학, 콜로이드 약물 제형.

• 순수 모델 성능: 엔진 없이, 모델(Gemini 2.5 Flash)은 실행 가능한 목표의 52%에 대해서만 물리적으로 유효한 설계를 생성했으며, 불가능한 목표에 대해 거절하는 데 실패하여 28%의 사례(천체물리학에 집중됨)에서 사후 검증을 통과하는 "환각" 설계를 생성했다.
• PHACT 성능: 루프를 적용했을 때, 동일한 모델이 실행 가능한 목표의 88%를 인증했다. 결정적으로, 25개의 불가능한 목표에 대해 시스템은 단 한 건의 잘못된 인증(false certification)도 생성하지 않았다.
• 적대적 테스트: 두 개의 모델(Gemini 2.5 Flash, Llama 3.3 70B), 두 개의 디코딩 온도, 그리고 의도적으로 결함이 있는 엔진을 포함한 80회의 적대적 시험에서, 구조적 계약은 위조된 인증서를 전혀 생성하지 않았다. 반면, 유사한 조건의 "순수" 검증기는 45회의 시험 중 19회에서 위조되었다.
• 능력 스케일링: 더 약한 모델(Llama 3.1 8B)은 불가능한 목표에 대해 루프를 닫지 못하고(판정 없이 정체됨) 인증서를 위조하지는 않았다. 이는 안전성은 구조적이지만, 유용성은 모델의 능력에 따라 확장됨을 확인시켜 준다.
• 피드백 분석: 구조적 피드백(경로를 포함한 루트-입력 수정)은 폐쇄형 역함수가 없는 결합된 제약 조건이 있는 도메인(예: DNA 이중 제약)에서만 반복 횟수를 유의미하게 줄였다. 폐쇄형이거나 실행 가능한 영역이 넓은 경우, 더 단순한 피드백으로도 충분했다.

의의 및 주장

본 논문은 신뢰할 수 있는 물리적 추론이 더 나은 예측기의 속성이 아니라, 예측기가 자신의 판정을 뒤집을 수 없는 루프 안에 배치되었을 때의 속성이라고 주장한다.

• 구조적 vs 통계적: 안전성 보장은 통계적인 것이 아니라 구조적(인터페이스 설계 및 데이터 흐름 방향에 기반)이다. 이는 모델의 디코딩 온도나 샘플링 전략에 의존하지 않는데, 왜냐하면 단언할 권위가 샘플러를 거치지 않기 때문이다.
• 보장 범위: 논문은 건전성(soundness)이 엔진의 물리 모델에 상대적임을 명시한다. 인증은 설계가 특정 방정식(예: DLVO 이론, 포스트-뉴턴 확장)을 만족함을 확인하는 것이지, 물리적 실체 전체(예: 실험실의 수화력)를 만족함을 의미하는 것은 아니다. "알 수 없음" 판정은 엔진의 역량이 초과되었음을 알린다.
• 실용적 유용성: 이 시스템은 고충실도 시뮬레이션을 대체하는 것이 아니라, 저렴한 제1원리 필터 역할을 한다. 과학자들이 값비싼 자원(벤치 타임, HPC 할당)을 투입하기 전에 지배적인 법칙에 따라 설계를 스크리닝할 수 있게 해준다.
• 일반화 가능성: 폐쇄형 엔진을 통해 입증되었으나, 아키텍처는 엔진 유형에 구애받지 않는다. 어떠한 결정론적 순방향 모델(비폐쇄형 법칙을 위한 물리 정보 기반 대리 모델 포함)도 구조적 계약(결합 입력 대 유도 출력)이 유지되는 한 인증기로 사용될 수 있다.

저자들은 결론적으로, 권위의 분리—학습된 제안자와 그가 무시할 수 없는 결정론적 중재자를 결합하는 것—가 단일 솔버가 존재하지 않는 개방형 환경에서 신뢰할 수 있는 추론을 위한 일반화 가능한 패턴이라고 밝히고 있다.