기술 요약: InteractScience

문제 정의

본 논문은 상호작용 과학 시연 코드 생성과 관련하여 대규모 언어 모델 (LLM) 의 평가에서 중요한 간극을 다룹니다. 현재의 벤치마크는 정적 코드 생성 (예: 블로그 웹페이지 제작) 이나 지식 기반 추론 (예: 뉴턴의 법칙 설명) 에서는 탁월한 성과를 보이지만, 상호작용 과학 애플리케이션에 필요한 심도 있는 도메인 지식과 정밀하고 반응적인 코딩의 통합을 평가하지는 못합니다.

기존 평가 방법론은 다음과 같이 이분화되는 경향이 있어 불충분합니다:

1. 정적 코드 생성: 과학적 논리를 검증하지 않은 채 레이아웃이나 기능적 UI 요소에 집중합니다.
2. 지식 질문 응답: 상호작용 행동을 테스트하지 않은 채 텍스트 설명을 평가합니다.
3. 시각적 판단만: 참조 스냅샷이나 체크리스트 없이 비전 - 언어 모델 (VLM) 에 의존하여 주관적인 판단을 초래하며, 이는 과학적 부정확성을 놓칠 수 있습니다.

핵심적인 문제는 모델들이 기능적으로 상호작용 가능한 코드 (버튼 클릭, 슬라이더 이동) 를 생성하지만 과학적으로 잘못된 코드 (물리 법칙 위반, 시각화가 기본 원리와 일치하지 않음) 를 생성하는 경우가 많다는 점입니다. 현재의 벤치마크는 사용자 행동이 의도된 과학적 행동을 올바르게 유발하는지 확인하는 메커니즘이 부족합니다.

방법론

이러한 한계를 해결하기 위해 저자들은 상호작용 과학 애플리케이션의 통합적 생성에 전념하는 최초의 벤치마크인 InteractScience를 소개합니다. 방법론은 두 가지 보완적 구성 요소를 결합한 하이브리드 평가 프레임워크를 기반으로 합니다:

1. 프로그래밍 기능 테스트 (PFT)

PFT 는 구현 계획에 정의된 상호작용 논리에 대한 결정론적 검증을 제공합니다.

• 메커니즘: Playwright 를 사용하여 시뮬레이션된 사용자 행동 (예: 버튼 클릭, 슬라이더 드래그) 시퀀스를 실행하고 특정 DOM 상태를 단언합니다.
• 목표: 생성된 코드가 구현 계획에 명시된 대로 정확히 동작하는지 확인하여 이벤트 처리, 상태 업데이트, 컴포넌트 존재 여부를 검증합니다.
• 출력: 이진 통과/실패 지표 (전체 통과율, 평균 통과율, 완벽 통과율).

2. 시각 기반 정성적 테스트 (VQT)

VQT 는 시각화의 정확성과 과학적 원리와의 정렬을 평가합니다.

• 메커니즘: 참조 스냅샷(Wolfram Demonstrations Project 에서의 기준 진실) 과 과학적 원리에서 파생된 체크리스트를 활용합니다.
• 프로세스: 프레임워크는 특정 상태를 재현하기 위해 행동을 실행하고 스크린샷을 캡처한 후 참조 스냅샷과 비교합니다.
• 점수 매기기:
  • 지각적 유사성: 생성된 스냅샷과 참조 스냅샷 간의 CLIP 점수를 통해 측정합니다.
  • 의미론적 정확성: VLM-as-Judge(Gemini-2.5-Pro) 가 생성된 스냅샷을 참조 스냅샷과 특정 검사 항목 체크리스트 (예: 수치 값의 정확성, 그래픽 요소의 정렬, 레이블의 정확성) 에 대해 평가합니다.
• 목표: DOM 단언을 통과할 수 있지만 잘못된 현상을 렌더링하는 과학적 오류 (예: 잘못된 주파수로 진동하는 스프링 - 질량 시스템) 를 탐지합니다.

벤치마크 구축

• 소스 데이터: 수학, 물리학, 화학, 지구과학, 컴퓨터과학 등 다섯 가지 학문 분야에 걸친 Wolfram Demonstrations Project의 150 개 상호작용 시연 자료.
• 합성: Gemini-2.5-Pro 를 사용하여 구현 계획, PFT 테스트 케이스/스크립트, VQT 테스트 케이스/스크립트, 평가 체크리스트를 합성했습니다.
• 검증: 대학원생이 참여한 수동 검증 실험을 통해 합성된 스위트의 충실도와 정확성을 확인했습니다 (평균 점수 > 4.0/5.0).
• 규모: 벤치마크는 150 개의 문제, 779 개의 PFT 유닛 테스트, 590 개의 VQT 유닛 테스트를 포함하여 총 1,300 개 이상의 개별 테스트로 구성됩니다.

주요 기여

1. 하이브리드 평가 프레임워크: 상호작용 논리 (PFT 를 통해) 와 시각 기반 과학적 충실도 (VQT 를 통해) 를 공동으로 검증하는 통합 프로토콜을 설계하여 정적이거나 순수 텍스트 기반 평가를 넘어섰습니다.
2. InteractScience 벤치마크: 150 개의 다양한 과학 문제에 대한 유닛 테스트 스크립트, 참조 스냅샷, 체크리스트 기반 평가를 특징으로 하는 엄격한 평가 스위트의 출시.
3. 대규모 실증 분석: 오픈소스 및 폐쇄소스 모두 포함하여 30 개의 최첨단 LLM 을 체계적으로 평가하여 과학적 추론과 상호작용 코드 생성을 통합하는 데 있어 특정 한계를 드러냈습니다.

실험 결과

30 개 모델 (GPT-5, Claude-Sonnet-4, DeepSeek-R1, Qwen3 시리즈 포함) 의 평가는 다음과 같은 통찰을 제공했습니다:

• 전체 성능: 벤치마크는 매우 까다롭습니다. PFT 의 **완벽 통과율 (PPR)**은 16% 를 거의 초과하지 않아, few 모델만이 복잡한 구현 계획을 완벽하게 따를 수 있음을 나타냅니다.
• "피상적 역량" 격차:
  • **행동 성공률 (ASR)**은 일관되게 높습니다 (>85%), 모델이 오류 없이 실행되는 기능적 UI 구성 요소 (버튼, 슬라이더) 를 생성할 수 있음을 보여줍니다.
  • **의미론적 정확성 (VLM-Judge)**은 현저히 낮습니다 (종종 <60), 인터페이스는 작동하지만 근본적인 과학적 논리가 자주 잘못되었음을 드러냅니다.
• 모델 비교:
  • 폐쇄소스 모델(예: Claude-Sonnet-4, GPT-5) 은 기능적 정확성 특히 오픈소스 모델보다 일반적으로 우수한 성과를 냅니다.
  • 모델 규모: 대형 모델 (예: DeepSeek-R1-0528, Qwen3-235B) 은 중급 폐쇄소스 모델과 유사한 성능을 보이는 반면, 소형 모델 (<14B) 은 현저히 어려움을 겪습니다.
• 지표의 상호 보완성: PFT 와 VQT 지표 간의 스피어만 상관관계는 낮습니다 (<0.32), 기능적 정확성과 시각/과학적 충실도가 별개의 능력임을 확인시켜 줍니다. 모델은 기능적 테스트를 통과할 수 있지만 과학적 시각화에서는 실패할 수 있으며, 그 반대도 마찬가지입니다.
• 참조 스냅샷의 영향: 멀티모달 모델에 입력으로 참조 스냅샷을 제공하는 것은 시각적 스타일과 레이아웃에서 modest한 개선을 가져오지만, 묘사된 상태를 올바른 과학적 의미론에 기반하게 하는 병목 현상을 완전히 해결하지는 못합니다.

중요성과 주장

본 논문은 InteractScience가 과학 및 교육 분야에서 신뢰할 수 있는 AI 기반 도구 개발을 위한 중요한 기반을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 표준화: 기존 벤치마크에서 평가되지 않았던 과학적 추론과 상호작용 코딩의 결합 능력을 평가하는 최초의 통합 프로토콜을 제공합니다.
2. 진단 능력: "피상적 역량"(작동하는 UI) 과 "과학적 충실도"(올바른 논리) 사이의 격차를 드러냄으로써, 현재 모델의 특정 실패 모드 (예: 논리 오류, 수치 매개변수 오류) 를 식별하는 데 도움이 됩니다.
3. 감사 도구: 저자들은 InteractScience 를 AI 생성 자료가 시각적으로 그럴듯해 보이지만 과학적으로 잘못된 설명을 포함할 수 있는 위험을 식별하는 감사 도구로 위치시킵니다. 이는 벤치마크 점수가 전문가 검토 없이 과학적 정확성의 인증으로 해석되어서는 안 된다는 점을 강조합니다.

이 연구는 LLM 이 소프트웨어 생성 자동화에서 유망한 모습을 보이지만, 심도 있는 도메인 지식을 기능적이고 상호작용적인 과학 시연으로 통합하는 능력에는 여전히 상당한 간극이 남아있다고 결론지었습니다. 향후 연구는 벤치마크를 확장하고, 더 광범위한 전문가 검증을 포함하며, 에이전트 기반 테스트를 탐구하는 것이 제안됩니다.