기술 요약: 정렬 격차(MIND THE ALIGNMENT GAP)

문제 정의

과학적 코딩 에이전트는 연구 과제가 실행 가능한 코드를 생성하지만 그 결과물이 모호하거나 검증하기 어려운 경우가 많기 때문에 벤치마킹하기가 어렵습니다. 기존의 벤치마크(예: HumanEval, SWE-bench)는 유닛 테스트나 회귀 테스트를 통한 명확한 자동 검증에 의존하지만, 실제 과학적 워크플로에는 반복적이고 개방적이며 정밀한 정답(ground truth)이 없는 경우가 많습니다. 저자들은 현재의 평가 프레임워크가 과학자가 에이전트의 추적(trace)을 검사하여 접근 방식의 과학적 타당성을 평가하는 사용자 중심의 워크플로보다, 정적인 지표의 점수를 높이는 것("hill-climbing")을 우선시한다고 주장합니다. 특히, 에이전트에게 특화된 과학적 컨텍스트(패키지 이름, 환경 등)를 제공하는 것이 공간 전사체 정렬(spatial transcriptomics alignment)과 같은 복잡한 도메인 특화 문제를 해결하는 능력에 어떤 영향을 미치는지 이해하는 데에는 격차가 존재합니다.

방법론

저자들은 피어 리뷰를 거친 논문으로부터 과학적 에이전트 벤치마크를 구축하고, 추적 검사를 통해 에이전트의 행동을 진단하는 상호작용형 프레임워크를 소개합니다.

벤치마크 구축:

• 출처: 본 연구는 최근 공간 전사체 정렬 방법론을 위한 벤치마크인 SABench를 재활용하여, 295개 태스크 중 40개를 코딩 에이전트를 위한 실행 가능하고 숨겨진 평가 태스크로 변환했습니다.
• 태스크 정의: 에이전트에게 관찰된 공간 좌표와 유전자 발현 프로파일이 포함된 2차원 조직 슬라이스를 제공합니다. 목표는 슬라이스를 정렬하는 좌표 테이블을 제출하는 것입니다.
• 평가: 숨겨진 스코러(scorer)가 스키마 체크, 발현 일치도, 라벨/랜드마크 일관성, 그리고 가능한 경우 숨겨진 골드 스탠다드 좌표에 대한 정렬 오차를 기반으로 제출물을 평가합니다. 메트릭은 0~1 척도로 표준화됩니다 (높을수록 좋음).

실험 조건:
저자들은 프롬프트의 풍부함과 환경 지원이 미치는 영향을 테스트하기 위해 세 가지 뚜의 서로 다른 실행 조건에서 단일 모델 구성(Codex CLI, gpt-5.3-codex 및 xhigh 추론 노력 적용)을 평가했습니다:

1. Basic (기본): 에이전트는 논문-방법론 컨텍스트와 사전 부트스트랩된 환경 없이 오직 태스크 프롬프트만 받습니다.
2. Package-aware (PA, 패키지 인지): 프롬프트에 논문-방법론 명칭과 패키지 제안이 포함됩니다. 에이전트는 스스로 패키지를 설치하고 탐색해야 합니다.
3. Full + prior (FPP, 전체 + 사전 지식): 에이전트는 설치된 패키지와 고수준의 방법론 사전 지식(관련 태스크 제품군에 선호되는 방법론을 요약함)이 포함된 사전 부트스트랩 가상 환경을 받습니다.

분석:
연구에는 120회의 실행(조건당 태스크당 3개의 독립적 반복 실험)이 포함되었습니다. 평가는 다음을 포함했습니다:

• 집계 점수(Aggregate Scoring): 조건 간 평균 합성 점수 비교.
• 추적 검사(Trace Inspection): 독립적인 LLM 호출을 사용하여 실패 단계, 에러 메시지, 패키지 사용 신호를 실행 로그에서 추출.
• 기하학적 베이스라인(Geometric Baselines): 에이전트 제출물로부터 파생된 단순 기하학적 휴리스틱(중심/스케일, PCA-유사성, trimmed ICP)을 합성하여 에이전트가 기본 기하학을 능가하는지 판단.

주요 결과

1. 컨텍스트 증가가 성능 향상으로 이어지지 않음
풍부한 컨텍스트가 성능을 개선할 것이라는 가설과 달리, Basic 조건이 가장 높은 평균 합성 점수(0.43)를 기록했으며, PA(0.42)가 그 뒤를 바짝 쫓았습니다. FPP 조건은 가장 강력한 패키지 사용 신호를 가졌음에도 불구하고 가장 낮은 점수(0.36)를 기록했습니다.

• 통계적 유의성: FPP는 Basic보다 -0.067 (95% CI [-0.11, -0.03]), PA보다 -0.059 낮았습니다.
• 패키지 사용량: FPP 에이전트는 전문 패키지(예: PASTE2, Spateo)를 43~72%의 실행에서 활용한 반면, Basic 에이전트는 이를 거의 사용하지 않았습니다(<20%). 이러한 행동 변화에도 불구하고 집계 정확도는 오히려 하락했습니다.

2. 실패 모드 분석
추적 검사는 왜 패키지 사용 증가가 낮은 점수로 이어졌는지 밝혀냈습니다:

• 경쟁적인 커스텀 전략: Basic 조건에서 에이전트는 종종 패키지 기반 솔루션과 일치하거나 이를 능가하는 단순 기하학적 아이디어(예: Procrustes 회전)를 사용하는 커스텀 파이썬 코드를 작성했습니다.
• 변동성 및 취약성: 전문 패키지를 호출하려면 파라미터 튜닝과 의존성 관리가 필요합니다. 잘못 보정된 선택은 단순 기하학적 대안보다 더 나쁜 변환을 초래했습니다.
• 인프라 실패: FPP 실행은 더 긴 패키지 루프, 환경 실패, 그리고 패키지 호출 실패 후 단순한 방식으로 돌아가는 대신 부적절한 결과를 수용하는 "사전 지식 주도형" 제출 문제를 겪었습니다.
• 양질의 입력 저하: 몇몇 사례(예: SA-004, SA-014)에서 입력 좌표는 이미 부분적으로 정렬된 상태였습니다. FPP 에이전트는 잘못 보정된 변환을 적용함으로써 이 입력을 능동적으로 저하시켰으며, 결과적으로 "Identity" 베이스라인(입력을 변경하지 않고 제출)보다 낮은 점수를 기록했습니다.

3. 기하학적 휴리스틱 vs. 전문 도구
합성된 기하학적 베이스라인(center/scale, PCA-similarity, trimmed ICP)은 FPP 조건과 비슷하거나 더 나은 점수를 달랐습니다. 가장 강력한 기하학적 프로브인 trimmed ICP는 평균 0.41을 기록하여, PA(0.41)와 거의 일치했고 FPP(0.36)를 능가했습니다. 이는 Basic 조건의 에이전트들이 전문 패키지가 이 맥락에서 신뢰성 있게 재현하지 못하는 단순하고 견고한 휴리틱을 효과적으로 활용하고 있었음을 시사합니다.

4. 태스크별 가변성
단일 패키지 제품군이 보편적인 승자가 되지는 않았습니다. 직렬 정렬 제품군에는 강체/아핀(rigid/affine) 커스텀 기하학이 가장 잘 작동했고, 다른 유형에서는 Spateo나 PASTE 같은 패키지가 뛰어났습니다. 벤치마크는 단순히 패키지 가용성을 높이는 것보다 로컬 메서드 선택(local method selection)에 보상을 주었습니다.

의의 및 주장

본 논문은 과학적 코딩 에이전트를 프롬프팅과 환경 제공만으로 효과적인 전문 도구 사용으로 유도하기가 어렵다고 주장합니다.

• "정렬 격차(The Alignment Gap)": 에이전트의 전문 도구 사용 능력과 이를 효과적으로 사용하는 능력 사이에는 괴리가 존재합니다. 스캐폴딩(패키지 힌트, 사전 설치된 환경)을 추가하는 것은 종종 불필요한 변환, 취약한 워크플로, 그리고 인프라 실패를 유발하여 전체 성능을 떨어뜨립니다.
• 평가 철학: 저자들은 과학적 에이전트 벤치마크가 최종 출력뿐만 아니라 에이전트의 추적(trace)과 워크플로를 평가해야 한다고 주장합니다. 최종 점수라는 "블랙박스"는 에이전트가 놀라울 정도로 성능이 좋은 휴리틱에 의존하고 있거나, 브리틀(brittle)한 패키지 통합으로 인해 실패하고 있다는 사실을 숨깁니다.
• 벤치마크 유용성: 본 연구는 벤치마크 논문들이 에이전트를 위한 실행 가능하고 점수화 가능한 태스크의 원천으로 재활용될 수 있음을 보여주며, 계산 유전체학에서 방법론적 타당성을 평가하기 위한 구체적인 사례 연구를 제공합니다.
• 제한적 범위: 저자들은 공간 정렬이 과학적 에이전트 평가의 전부라고 주장하지 않습니다. 대신, 이를 전문적인 도구 사용이 에이전트의 행동을 어떻게 변화시키는지 보여주는 사례 연구로 보며, 다른 도메인 및 모델 제품군에 대한 일반화 가능성을 평가하기 위한 향후 연구의 필요성을 제시합니다.

결론적으로, 본 논문은 집계된 메트릭을 높이는 "hill-climbing"에서 벗어나, 과학자가 에이전트의 추적을 검사하여 솔루션이 어떻게 도출되었는지 이해함으로써 도구의 복잡성으로 인해 과학적 타당성이 훼손되지 않도록 하는 사용자 중심의 워크플로로 전환할 것을 권고합니다.