기술 요약: 상호작용 스케일링(Interaction Scaling): 테스트 타임 컴퓨팅의 제3축 정립

문제 정의

현재 대규모 언어 모델(LLM)의 성능을 향상시키기 위한 테스트 타임(추론 타임) 접근 방식은 두 가지 "내부적" 축에 국한되어 있습니다: 추론 스케일링(더 오래 생각하기 위해 더 많은 토큰을 소비하는 것)과 샘플링 스케일링(여러 번 시도한 후 최적의 결과물을 선택하는 것)입니다. 본 논문은 두 방법 모두 근본적인 "내부적 한계(internal ceiling)"를 공유한다고 주장합니다. 즉, 이들은 오직 모델이 이미 보유하고 있는 가중치와 원래의 프롬프트에만 의존하며, 결과적으로 이미 알고 있는 정보를 재배열하거나 선택할 수 있을 뿐, 생성된 결과물(artifact)의 실제 동작에 대한 새로운 정보를 가져올 수는 없습니다.

나아가, 본 논문은 이러한 개선 사항을 측정하는 방식에서 발생하는 치명적인 결함을 지적합니다. 시각적 및 구조적 결과물을 평가할 때 흔식적으로 사용되는 방식은 시각-언어 모델(VLM)이 스크린샷을 분석하는 것입니다. 저자들은 스크린샷이 화면 밖의 콘텐츠를 잘라내고 작은 겹침 현상을 숨기는 손실이 큰 표현 방식이기 때문에, 이를 통한 평가는 "근거가 없는(ungrounded)" 것이며, 결과적으로 평가자가 특정 결함에 대해 구조적 맹목성을 갖게 된다고 주장합니다.

방법론: 상호작용 스케일링과 그라운딩(Grounding)

본 논문은 세 번째 축인 **상호작용 스케일링(Interaction Scaling)**을 제안합니다. 이는 모델이 결과물을 제안하고, 외부 **도구(instrument)**가 결과물의 실제 동작이나 형태를 관찰하며, 모델이 그 관찰 결과에 따라 수정하는 폐쇄 루프(closed loop)를 포함합니다.

핵심 논지는 **그라운딩(Grounding, 근거 설정)**이 이 축을 지배하는 변수이며, 루프의 양측 모두에서 유지되어야 한다는 것입니다:

1. 그라운드된 피드백(Grounded Feedback): 수정을 유도하는 신호는 모델의 의견이나 손실이 있는 뷰(예: 스크린샷)가 아니라, 결과물의 실제 동작을 관찰하는 도구(예: 코드 테스트 실행, DOM 경계 상자 측정)로부터 와야 합니다.
2. 그라운드된 평가(Grounded Evaluation): 결과를 점수화하는 메트릭 역시 동일한 그라운드된 관찰을 사용해야 합니다. 만약 메트릭이 그라운드되지 않았다면(예: 스크린샷을 읽는 VLM), 스크린샷이 숨기고 있는 부분에 존재하는 개선 사항을 감지할 수 없습니다.

제안된 하네스(Harness)

저자들은 **제안자-검토자 하네스(Proposer–Reviewer Harness)**를 구현했습니다:

• 제안자(Proposer): 고정된 프런티어 모델(예: Claude Sonnet 4)이 결과물을 생성합니다.
• 도구(Instrument): 결정론적인 도구가 결과물을 실행, 렌더링 또는 측정합니다 (예: 코드용 pytest, DOM 기하학 측정을 위한 헤드리스 브라우저).
• 검토자(Reviewer): 동일한 모델이 진단 에이전트로서 작동하여, 도구의 가공되지 않은 신호(예: 트레이스백 또는 겹쳐진 박스 목록)를 구조화된 결함 목록으로 변환합니다.
• 수정(Revision): 제안자는 이 목록을 사용하여 결과물을 수정합니다.
• 선택(Selection): 루프를 최대 횟수까지 반복하며, 가장 높은 그-라운드된 점수를 가진 반복 회차를 유지합니다.

논문은 그라운드되지 않은 피드백(모델의 의견, 스크린샷을 보는 VLM)과 그라운드된 피드백(도구의 관찰)을 구분합니다. 또한 **커버리지 원칙(Coverage Principle)**을 도입합니다. 이는 도구가 실제로 결함을 관찰할 수 있는 범위 내에서만 그라운드된 피드백이 도움이 된다는 것입니다. 예를 들어, 정적 형태에 기반한 린터(linter)는 런타임 로직 버그를 고칠 수 없으며, 픽셀에 기반한 스크린샷은 캔버스 외부로 벗어난 오버플로를 고칠 수 없습니다.

주요 기여

1. 그라운딩 프레임워크: 논문은 피드백 채널의 분류 체계를 공식화하여 모델의 의견과 도구의 관찰을 구분합니다. 또한 개선의 정도가 도구의 관찰 범위에 의해 제한된다는 것을 예측하는 커버리지 원칙을 확립합니다.
2. 내부적 한계를 넘어서는 확장성 입증: 저자들은 추론 전용 방식과 Best-of-N 샘플링 전략이 고정된 토큰 예산에서 정체(plateau)되는 반면, 상호작용 전략은 계속해서 개선되어 내부 방식이 실패하는 지점에서 완벽한 통과율(pass rate)에 도달함을 보여줍니다.
3. 그라운드된 메트릭의 필요성: 본 논문은 그라운드되지 않은 메트릭(특히 스크린샷을 읽는 VLM)이 시각적 결과물의 개선을 감지하지 못하며, 심지어 검토자로 사용될 경우 레이아웃을 악화시키는 역효과를 낼 수 있음을 입증합니다.
4. 아키텍처 효율성: 제안자-검토자 하네스는 단일 에이전트 루프나 샘플-및-선택(sample-and-select) 방식에 비해 토큰 효율성이 높고 신뢰할 수 있음(시드 변화에 따른 분산 제로)을 보여줍니다.

결과

연구는 고정된 토큰 예산을 사용하여 7가지 모달리티(코드, 학술 도표, 슬라이드, 웹 페이지, 애니메이션, 비디오 편집, 딥 리서치)에 걸쳐 하네스를 평가했습니다.

• 코드 작업: 어려운 코딩 테스트(처음부터 구현해야 하는 "deep-spec" 스위트 포함)에서, 그라운드된 실행 피드백 루프는 100% 통과율을 달察하여 모든 단일 샷 실패 사례를 복구했습니다. 반면, 추론 전용 및 오라클 검증 기반의 Best-of-N 샘플링은 가장 어려운 작업에서 약 86.7% 수준에서 정체되었습니다. 제안자-검토자 하네스는 다른 상호작용 전략보다 약 28% 적은 토큰을 사용하여 이를 달성했으며, 시드 간 편차가 전혀 없었습니다.
• 시각적 결과물 (도표, 슬라이드, 웹, 애니메이션):
  • "맹목적인 판사(Blind Judge)" 효과: 표준 VLM 판사가 스크린샷을 읽었을 때, 15개의 눈에 띄게 깨진 학술 도표 중 14개를 "완벽함"으로 평가했습니다. 이는 결함(텍스트 겹침, 캔버스 외부 콘텐츠)이 이미지에서 잘려 나갔기 때문입니다.
  • 그라운드된 개선: 결정론적인 DOM 기하학 도구를 사용하여 레이아웃 결함을 측정했을 때, 상호작용 루프는 4가지 시각적 모달리티 전반에서 결함을 40~74% 감소시켰습니다.
  • 그라운드되지 않은 검토자로 인한 퇴보: VLM 검토자(스크린샷 기반)를 사용하여 슬라이드를 수정했을 때는 기하학적 결함이 증가한 반면, 기하학 도구 검토자를 사용했을 때는 결함이 73% 감소했습니다.
• 모델 불가지론적 특성 (Model Agnosticism): 결과는 다양한 모델 제품군(Sonnet 4, Qwen3-235B, GPT-5)에서도 유효했으며, 검토된 천장(ceiling)은 시작 시드와 상관없이 일관되게 100% 통과율 또는 최대 결함 감소율에 도달했습니다.
• 지식 증류 (Distillation): 교사 모델의 상호작용 궤적으로부터 증류된 8B 학생 모델은 교사 모델의 단일 샘플 능력의 약 51%, 두 개의 샘플 사용 시 약 70%를 복구했습니다. 이는 상호작용의 품질이 일부 내부화될 수 있음을 시사하지만, 완전한 성능을 위해서는 그라운드된 하네스가 여전히 필요함을 보여줍니다.

의의 및 주장

본 논문은 상호작용 스케일링이 추론 및 샘플링과 구별되는, 테스트 타임 컴퓨팅의 별도이자 필수적인 세 번째 축이라고 주장합니다. 그 의의는 다음 두 가지 핵심 통찰에 있습니다:

1. 정보적 한계 돌파: 상호작용은 모델이 보유하지 못한 정보(결과물의 실제 동작)를 가져오게 함으로써, 내부적 스케일링이 단순히 알려진 정보를 재배열하는 데 그치는 한계를 깨뜨립니다.
2. 그라운딩의 결정적 역할: 논문은 피드백 신호와 평가 메트릭 모두 그라운드되어야만 상호작용 스케일링이 가시적이고 효과적이라고 주장합니다. 메트릭이 그라운드되지 않으면 시각적 및 구조적 작업의 개선 사항은 표준 벤치마크에서 보이지 않으며, 그라운드되지 않은 검토자는 오히려 품질을 저하시킬 수 있습니다.

저자들은 이 분야에 주는 실질적인 교훈은 단순히 "루프를 추가하는 것"이 아니라 "루프를 그라운드하는 것"이라고 결론짓습니다. 시각적 결과물의 경우, 이는 특히 스크린샷 기반의 VLM 판사에 의존하는 대신 렌더링된 DOM을 측정하거나 코드를 실행하는 것을 의미합니다. 스크린샷 기반의 VLM은 상호작용 스케일링이 해결하고자 하는 결함을 포착하는 데 있어 구조적으로 맹목적이기 때문입니다.