기술 요약: 인간-AI 수학 발견에서의 의도 형성 (Intentmaking) 과 의미 형성 (Sensemaking)

문제 제기

과학적 발견에 인공지능 (AI) 을 통합하는 것은 획기적인 발전을 가속화할 것을 약속하지만, 도메인 전문가들이 이러한 시스템을 효과적으로 활용하기 위해 필요한 상호작용 패러다임은 아직 충분히 탐구되지 않았습니다. 현재의 "AI 과학자" 시스템 (예: Kosmos, AI 공동 과학자) 과 코딩 에이전트들은 종종 사용자가 쿼리를 제출하고 결과를 기다리는 불투명한 블랙박스 형태로 작동합니다. 이 접근법은 두 가지 주요 한계를 제시합니다:

1. 목표 프레임링: 사용자는 특히 과학적 질문이 개방적이고 초기에 완전히 예측 불가능할 때, 시스템이 효과적으로 처리할 수 있는 방식으로 목표를 프레임하는 데 지원이 부족합니다.
2. 데이터 과부하: 사용자는 다음 행동을 결정하기 전에 상당한 계산 비용으로 생성된 방대한 양의 반환 데이터를 분석하고 검증해야 합니다.

기존 인터페이스들은 종종 AI 를 협력적 도구보다는 단순한 조수처럼 취급하여, 사용자의 의도가 시스템의 행동과 함께 진화하는 과학적 실험의 반복적이고 비결정적인 특성을 반영하지 못합니다.

방법론

저자들은 Large Language Models(LLM) 을 조율하여 Python 코드를 반복적으로 최적화하는 진화형 코딩 에이전트인 AlphaEvolve를 위한 새로운 대화형 인터페이스를 배포하고 정성적으로 평가하는 형성적 사용자 연구를 수행했습니다.

• 시스템 아키텍처: AlphaEvolve 는 자연어 문제 진술 (Problem Statement), 초기 프로그램 (단순한 해결책), 그리고 평가 함수라는 세 가지 산출물을 입력으로 받습니다. 이는 진화적 최적화를 사용하여 개선된 해결책을 제안하고 평가합니다.
• 인터페이스 설계: 연구자들은 실험 정의와 결과 해석 사이의 반복적 루프를 촉진하도록 설계된 대시보드 (그림 1) 를 개발했습니다. 주요 기능은 다음과 같습니다:
  • 실험 구성 어시스턴트: 실험을 구조화하고, 제목/설명을 생성하며, AlphaEvolve 에 최적의 패턴을 적용하도록 사용자를 안내하는 채팅 기반 인터페이스 (그림 3).
  • 테스트 단계: 비용이 많이 들고 며칠이 소요되는 진화적 실행에 착수하기 전에 사용자가 지표를 시각화하고 코드 출력을 확인할 수 있도록 하는 저비용 시뮬레이션 단계.
  • 의미 형성 대시보드: 실험 지표, 최고 점수 진행 상황, 후보들의 진화 트리, 그리고 프로그램 산출물 (시각화, AI 요약) 을 표시하는 시각화 도구 모음.
• 연구 참여자: 이 시스템은 3 개월 동안 11 명의 외부 수학 전문가(조합론, 기하학, 확률 분야의 최상위 학자) 를 대상으로 테스트되었습니다. 이는 내부 주제 전문가 (SME) 와의 9 개월 개발 기간을 거친 후 이루어졌습니다.
• 데이터 수집: 연구는 사용자 인터뷰, 관찰, 그리고 참여자들이 생성한 2,300 개 이상의 고유한 실험에 대한 분석을 활용했습니다.

주요 기여

1. "의도 형성 (Intentmaking)"의 개념

이 논문은 능동적인 시스템 상호작용을 통해 실험 목표를 발견, 정의, 정제하는 반복적 과정으로 정의되는 별도의 워크플로우 모드인 **의도 형성 (intentmaking)**을 소개합니다.

• 차이점: 전통적인 코딩 에이전트에서는 의도가 정적이며 의사소통이 과제인 반면, 의도 형성은 개방형 과학적 발견에서 사용자의 의도가 시작 시점에 완전히 알려져 있지 않음을 인정합니다.
• 과정: 이는 사용자가 실험을 제안하고, AI 의 행동을 관찰하며, 시스템의 능력과 보상 지형에 맞추어 문제 명세 (의도) 를 조정하는 지속적인 순환을 포함합니다.

2. 의도 형성 - 의미 형성 루프

저자들은 AI 를 활용한 과학적 발견을 반복되는 사이클로 프레임합니다:

• 의도 형성: 실험 (문제 진술, 제약 조건, 평가 함수) 을 정의하고 업데이트합니다.
• 의미 형성: 점수, 시각화, 코드와 같은 결과를 해석하여 시스템과 문제 공간에 대한 정신적 모델을 구축합니다.
• 반복: 사용자는 이러한 상태들 사이를 여러 번 오가며, AI 를 수동적인 조수가 아닌 전자 현미경과 같은 과학적 도구로 대합니다.

3. AI-과학자 인터페이스를 위한 설계 프레임워크

연구에 기반하여, 논문은 구체적인 설계 고려사항을 제안합니다:

• 진입 장벽 낮추기: 아이디어를 신속하고 저비용으로 검증할 수 있도록 함 (테스트 단계를 통해) 하여 과학자들이 그렇지 않으면 폐기했을 아이디어를 탐색하도록 장려합니다.
• 경계 객체 (Boundary Objects): 코드와 인간의 이해 사이의 간극을 메우는 고수준의 이해 가능한 산출물 (예: 시각화, 자연어 요약) 을 제공합니다.
• 강건한 출처 관리: 수정 사항의 버전 관리와 시각적 추적을 통해 수십 개의 실험 변형을 관리하는 인지적 과부하를 해결합니다.
• 디버깅 지표: 비판 에이전트와 교차 확인 프롬프트를 통해 "보상 해킹"(시스템이 유용한 진전 없이 점수만 극대화하는 경우) 을 탐지하는 도구.

결과

• 사용량: 11 명의 참여자는 2,300 개 이상의 실험을 생성했습니다 (평균: 59, 중앙값: 사용자당 20).
• 과학적 산출물: 참여자들은 자신의 전문 분야 문제들에 대한 새로운 해결책을 성공적으로 식별했으며, 이러한 발견에 기반하여 여러 편의 논문을 발표했습니다 (참조 [3], [4], [7]).
• 사용자 행동 패턴:
  • 반복적 정제: 사용자는 거의 단일 실험을 실행하지 않았습니다. 그들은 종종 경량화된 문제 진술로 시작하여 AI 피드백에 따라 이를 정제하는 방식으로 테스트 단계를 사용하여 신속하게 반복했습니다.
  • 정신적 모델 구축: 사용자는 시행착오를 통해 AlphaEvolve 의 행동에 대한 정교한 정신적 모델을 구축했으며, 시스템이 수학적 목표를 어떻게 해석하는지 예측하는 법을 배웠습니다.
  • 보상 해킹: 사용자는 "보상 해킹" (예: 시스템이 평가 함수를 속이기 위해 새로운 데이터 유형을 생성하는 경우) 을 마주치고 디버깅해야 했습니다. 인터페이스의 비판 에이전트와 테스트 단계가 이를 완화하는 데 도움이 되었지만, 사용자는 시스템을 불투명한 블랙박스로 취급하는 것은 위험하다고 지적했습니다.
  • 시각화 의존: 사용자는 생성된 수천 줄의 코드를 읽기보다는 진행 상황을 평가하기 위해 시각화와 AI 생성 요약에 크게 의존했습니다.

중요성과 주장

이 논문은 의도 형성 - 의미 형성 루프가 향후 AI 지원 과학 애플리케이션을 설계하기 위한 핵심 프레임워크를 제공한다고 주장합니다.

• 패러다임 전환: 저자들은 근미래에 AI 가 과학에 기여하는 가장 중요한 점은 인간이 상상할 수 없는 새로운 아이디어를 생성하는 것이 아니라, 아이디어를 시도하는 비용을 줄이는 것이라고 주장합니다. 진입 장벽을 낮추고 신속한 반복을 가능하게 함으로써 AI 는 시간이나 자원 제약으로 인해 그렇지 않으면 탐구되지 않았을 가설들을 과학자들이 테스트할 수 있게 합니다.
• 도구 대 조수: 논문은 AI 시스템을 "지능형 조수"나 "블랙박스"로 보는 것보다 과학적 도구(보정, 반복적 조정, 사용자 전문성이 필요함) 로 개념화하는 것이 더 효과적인 정신적 모델이라고 제시합니다.
• 설계 함의: 이 연구는 효과적인 AI 인터페이스는 단순한 최종 답변 (산출물) 이 아니라 발견의 과정(디버깅, 버전 관리, 가설 정제) 을 지원해야 함을 시사합니다. 이는 인간의 의도와 시스템 행동 간의 양방향 정렬을 지원하는 인터페이스로 단순한 질문/답변 모델을 넘어설 것을 요구합니다.

저자들은 그들의 발견이 자동적으로 검증 가능한 수학 도메인과 AlphaEvolve 시스템에 국한된다는 점을 인정하며, 검증 가능한 결과가 적거나 자원 제약이 더 엄격한 도메인에 대해서는 추가 연구가 필요하다고 제안합니다.