Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

기술 요약: 에이전트 과학에서의 발견 주장 감사(Auditing Discovery Claims in Agentic Science)

문제 정의
본 논문은 과학적 발견을 수행하는 자기 개선형 AI 시스템이 내세우는 주장을 검증하는 데 따르는 어려움을 다룬다. 에이전트가 새로운 능력(예: 슈도노트(pseudoknot) 구조를 가진 RNA 설계)을 획득했다고 주장할 때, 그 증거는 대개 벤치마크 차이(delta), 기술 길이 게이트(description-length gates), 또는 p-값에 국한된다. 이러한 지표들은 다음과 같은 현상들—진정한 능력의 획득인지 아니면 단순한 아티팩트(artifact)인지—을 구분하지 못한다:

• 오라클 게이밍(Oracle gaming): 에이전트가 결함이 있는 특정 예측 모델에 과최적화되는 현상.
• 탐색 강도(Search intensity): 새로운 원리가 아니라 더 강력한 탐색 덕분에 성능이 향상된 경우.
• 암기(Memorization): 일반적인 규칙을 학습한 것이 아니라 특정 타겟에 대한 해법을 기억해낸 경우.
• 검증기 변화(Verifier shifts): 에이전트의 정책 변화가 아니라 검증 표준의 변화로 인해 발생한 성능 변화.

저자들은 현재의 방법론들이 이러한 혼란 변수들을 분리하기 위해, 적어도 한쪽 측면에서는 결정 가능한(decidable) **양방향 기준(two-sided criterion)**이 결여되어 있다고 주장한다.

방법론: 양방향 감사(The Two-Sided Audit)
저자들은 RNA 역설계(inverse design), 특히 교차(crossing, pseudoknotted) 구조를 대상으로 하는 감사 프레임워크를 제안한다. 이 감사는 부정적 측면과 긍정적 측면으로 구성된 비대칭적 구조를 가진다:

1. 부정적 측면 (결정 가능/정확):

   • 형식적 기초: 촘스키 계층(Chomsky hierarchy)을 활용한다. 중첩된(nested) RNA 구조는 문맥 자유(Context-Free, CF) 언어인 반면, 교차 구조(pseudoknots)는 약한 문맥 민감(Mildly Context-Sensitive, MCS) 언어이다.
   • 정리: 슈도노트가 없는 폴딩 오라클($\Omega_{cf}$)의 표현 범위는 엄격하게 중첩 구조($L_{nest}$)로 제한된다. 이 오라클은 교차 쌍을 인증하는 것이 형식적으로 불가능하다.
   • 감사 메커니즘: 실행 전, 저자들은 $\Omega_{cf}$에 의해 검증되는 사전 정책(prior policy)의 실현 가능한 타겟 언어 $R_{\Omega_{cf}}(\pi_{before})$가 교차 타겟 집합($L_{pk}$)과 서로소(disjoint)임을 증명한다. 이는 정확한 오프라인 경계치를 제공한다: 즉, 사전 시스템은 탐색 예산에 관계없이 이러한 타겟들을 인증할 수 없었다.

2. 긍정적 측면 (모델 상대적/판정 기반):

   • 판정(Adjudication): 단일의 정확한 오라클로는 교차 구조를 검증할 수 없으므로, 저자들은 세 개의 휴리스틱 예측기 패널(pKiss, ProbKnot, ShapeKnots)을 사용한다.
   • 프로토콜:
     • 봉인된 약속(Sealed Commitment): 에이전트는 루프 내 최적화 후에, 하지만 홀드아웃(held-out) 판정기를 실행하기 전에는 설계를 확정(해시로 동결)한다. 이는 사후 선택(post-hoc selection)을 방지한다.
     • 기권(Abstention): 세 예측기 간에 의견이 불일치할 경우, 해당 타겟은 "해결되지 않음"으로 표시되어, 모델링 아티팩트가 획득된 능력으로 둔갑하는 것을 방지한다.
     • 지표: 감사는 여섯 가지 구성 요소($E_{range}, \Delta_{prior}, \Delta_{gamer}, \Delta_{undirected}, \Delta_{held-out}, g_{aut}$)의 벡터를 보고하며, 이를 통해 엄밀한 정리, 경험적 이득, 그리고 귀속 테스트를 구분한다.

3. 실험 설정:

   • 타겟 풀: Pseudobase++에서 추출한 60개의 교차 타겟(개발/평가용 풀)과 구조적으로 분리된 27개의 타겟 풀.
   • 베이스라인: 단일 오라클(pKiss)에 최적화된 "게이머(gamer)" 연산자, 최소 자유 에너지 솔버(DesiRNA), 그리고 인간이 작성한 연산자.
   • 에이전트 발명: LLM 에이전트에게 솔버가 없는(solver-free) 연산자를 작성할 수 있는 프리미티브를 제공하고, 이후 이를 동결하여 감사한다.

주요 기여

1. 양방향 기준: "할 수 있다(경험적 이득)"와 "이전에는 할 수 없었다(결정 가능한 배제)"를 구분하여, 능력 획득을 감사하는 공식적인 프레임워크를 제공한다.
2. 실현 가능한 타겟 언어의 형식화: 정책이 오라클 하에서 실현할 수 있는 타겟의 집합을 $R_{\Omega}(\pi)$로 정의함으로써, 연산자의 코드가 아닌 구조의 언어에 펌핑 렘마(pumping lemmas)를 적용할 수 있게 한다.
3. 오라클 게이밍의 입증: 단일 오라클이 어떻게 능력 주장을 부풀리는지에 대한 경험적 증거를 제시한다 (예: 하나의 예측기 하에서는 43/60 성공이었으나, 세 예측기 패널 하에서는 1/60으로 급감).
4. 2단계 귀속 게이트(Two-Stage Attribution Gate): 상관관계와 메커니즘을 구분하기 위해, 먼저 시스템 간에 차이가 나는 속성을 식별한 다음 개입(이식, transplanting)을 통해 인과관계를 검증하는 프로토콜을 제시한다.
5. 에이전트 작성 코드에 대한 경험적 결과: 동결된 에이전트 작성 연산자가 홀드아웃 판정기 하에서 인간 작성 연산자보다 우수한 성능을 보일 수 있음을 입증한다(비록 구체적인 메커니즘은 밝혀지지 않았으나).

결과

• 오라클 게이밍 측정: pKiss에 최적화된 게이머 연산자는 43/60의 성공을 거두었다. 그러나 이를 홀드아웃 예측기(ProbKnot)로 재판정했을 때 43개 중 2개만이 생존했으며, 세 예측기 패널 하에서는 60개 중 1개만이 생존했다. 이 43$\to$1의 붕괴는 단일 오라클 지표가 불충분함을 보여준다.
• 저자 시스템의 감사: 저자들의 "패널 최적화" 연산자는 개발 풀에서 3~8/60의 혼합 패널 일치 성공(평균 3.29)을 기록하였으며, 이는 0/60인 컨텍스트 프리(context-free) 하한선을 상회한다. 그러나 그 이득은 미미했다:
  • $\Delta_{gamer}$: 해당 연산자는 단일 오라클 게이머보다 뛰어난 성능을 보였으나, 복제 횟수가 증가함에 따라 효과 크기가 줄어들었다.
  • $\Delta_{undirected}$: 무지향 탐색(undirected search)과 구분이 불가능했는데, 이는 이득이 탐색 가이드가 아니라 성공 술어(성공 조건의 결합)에서 온다는 점을 시사한다.
  • 탐색 프리 프로브(Search-Free Probe): 연산자의 성공 사례 중 84%가 무작위 호환 서열이 이미 타겟을 해결한 경우였으며, 이는 연산자가 "어려운" 케이스를 해결하는 것이 아님을 나타낸다.
• 양성 대조군 (에이전트 작성 연산자): 프런티어 LLM(특히 타임아웃 없이 실행된 6개 모델 중 2개)이 작성한 동결된 연산자는 인간 작성 연산자의 0.095에 비해 홀드아웃 예측기(ShapeKnots)에 대해 0.293의 전이율(carry-over rate)을 보였다.
  • 이 차이는 D1에 의해 확립되었으며, 에이전트가 4.6~10배 적은 오라클 호출을 사용했으므로 D2(컴퓨팅 파워로 얻은 결과가 아님)에 의해서도 입증되었다.
  • 메커니즘 (D3): 일곱 가지 후보 메커니즘(구조적 특징 및 앙상블 갭 포함)을 인간 연산자에 이식해 보았으나, 에이전트의 이점을 재현하지 못했다. 메커니즘은 여전히 미확인 상태이다.

의의 및 주장
본 논문은 메커니즘이 규명되지 않았으므로(D3에 도달하지 못함), 새로운 과학적 발견을 했다고 주장하지 않는다. 대신, 그 의의는 감사 도구 자체에 있다:

1. 엄격함 대 무감각함: 본 감사는 진정으로 유능한 시스템과, 단순히 단일 오라클의 실패 모드에 무감각한 시스템을 성공적으로 구분한다. 43$\to$1의 붕괴는 이 도구가 과최적화를 탐지함을 증명한다.
2. 검증된 미사용(Non-Use): 본 감사는 에이전트 작성 연산자들이 선언된 도구 클래스에 대한 역설계 패키지 솔버를 호출하지 않고도 결과를 얻었음을 확인한다.
3. 완만한 능력 획득: 저자들은 에이전트 작성 연산자가 엄격한 홀드아웃 기준(D1, D2)을 적은 컴퓨팅 비용으로 통과할 수 있음을 입증하지만, 메커니즘이 불분명하고 결과가 특정 모델과 단일 벤치마크 풀에 국한되므로 "강력한 자율적 상승"이나 "발견"이라는 주장은 명시적으로 유보한다.
4. 한계점: 저자들은 패널 예측기들이 열역학적 파라미터(최근접 이웃 모델)를 공유하고 있어 독립성이 제한적임을 인정한다. 따라서 더 강력한 주장을 위해서는 다른 모델 클래스의 예측기가 필요하다고 밝힌다.

요약하자면, 본 논문은 단일 오라클 주장의 취약성을 폭로하는 엄격한 양방향 감사 프로토콜을 제공하며, 에이전트 작성 절차가 엄격한 조건 하에서 인간의 베이스라인을 능가할 수 있음에도 불구하고, 그러한 개선의 근저에 있는 메커니즘은 종종 불투명하고 규명하기 어렵다는 점을 보여준다.