💻 computer science

Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft

본 논문은 레드스톤 회로 과제를 통해 발견부터 적용에 이르는 순환 과정을 평가하는 마인크래프트 기반 벤치마크인 SciCrafter 를 소개하며, 현재의 최첨단 모델이 지식 적용의 한계로 인해 주로 26% 의 성공률에서 정체되고 있음을 밝히지만, 고급 시스템의 새로운 병목 현상은 지식 격차를 식별하고 올바른 문제를 설정하는 능력으로 이동하고 있음을 보여줍니다.

원저자: Zhou Ziheng, Huacong Tang, Jinyuan Zhang, Haowei Lin, Bangcheng Yang, Qian Long, Fang Sun, Yizhou Sun, Yitao Liang, Ying Nian Wu, Demetri Terzopoulos, Xiaofeng Gao

게시일 2026-04-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhou Ziheng, Huacong Tang, Jinyuan Zhang, Haowei Lin, Bangcheng Yang, Qian Long, Fang Sun, Yizhou Sun, Yitao Liang, Ying Nian Wu, Demetri Terzopoulos, Xiaofeng Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 정교한 시계 태엽 로봇처럼 복잡한 기계를 만드는 방법을 가르치려 하지만 경험이 부족한 천재 견습공을 두고 있다고요. 당신은 부품 상자와 "로봇이 걷게 만들어라"라는 목표를 건네줍니다.

견습공은 단순히 기어를 어떻게 조립하는지 (적용) 만 알아서는 안 됩니다. 먼저 어떤 기어가 작동하는지, 왜 그런 방향으로 회전하는지, 그리고 기어를 이상하게 연결하면 어떤 일이 벌어지는지 (발견) 스스로 파악해야 합니다.

"현재의 에이전트들이 발견에서 적용까지의 간극을 메울 수 있는가? 마인크래프트 사례 연구"라는 제목의 이 논문은 오늘날 가장 진보된 AI '견습공'들이 이 전체 과정을 얼마나 잘 수행하는지에 대한 성적표와 같습니다.

다음은 그들의 발견을 간단한 비유로 정리한 내용입니다:

1. 테스트: "레드스톤" 퍼즐

연구진은 너무 복잡하고 비용이 많이 드는 현실 세계가 아닌, 마인크래프트라는 비디오 게임에서 AI 를 테스트했습니다. 이 게임에서는 '레드스톤'(게임 내 전기 배선) 을 이용해 복잡한 기계를 만들 수 있습니다.

과제: AI 는 특정 개수 (4 개에서 64 개 사이) 의 램프를 특정 패턴 (한 번에 모두 켜거나 순차적으로 켜기) 으로 밝히기 위한 회로를 구축해야 했습니다.
문제점: AI 는 단순히 추측할 수 없었습니다. 램프 수가 늘어날수록 게임의 규칙이 변했습니다. 예를 들어, 마인크래프트에서 신호는 이동 거리가 멀어질수록 약해집니다. 64 개의 램프를 밝히려면 AI 는 특수한 '리피터'(신호 증폭기) 가 필요하다는 사실을 발견하고, 이를 특정 '허브' 형태로 배치해야 했습니다. 만약 4 개 램프에 대한 해결책을 단순히 기억해 확대 적용하려 했다면 실패했을 것입니다.

2. 결과: AI 가 벽에 부딪혔다

연구진은 이용 가능한 가장 똑똑한 AI 모델들 (GPT-5.2, Gemini-3-Pro, Claude-Opus-4.5 등) 을 테스트했습니다.

점수: 최고의 AI 조차도 약 **26%**의 성공률만을 기록했습니다.
비유: 천재 학생에게 수학 시험을 준다고 상상해 보세요. 그들은 간단한 덧셈은 완벽하게 풀지만, 더 어려운 문제를 해결하기 위해 숫자를 곱하는 새로운 방법을 발명하라고 하면 막힙니다. 그들은 지시를 따르는 데는 뛰어나지만, 스스로 어떤 지시가 필요한지 발견하는 데는 서툴러요.

3. 진단: 그들은 어디서 실패했는가?

연구진은 AI 의 실패를 릴레이 경주처럼 네 단계로 나누어 분석했습니다. 누가 어떤 순간에 배턴을 떨어뜨렸는지 확인하기 위함입니다.

1 단계: 무엇을 모르는지 알기 (식별)
- 문제점: AI 는 무엇을 물어봐야 할지 몰랐습니다. "이봐, 신호가 거리가 멀어질수록 약해지는 걸 모르는데?"라는 사실을 깨닫지 못했습니다.
- 해결책: 연구진이 "신호가 얼마나 멀리 이동하는지 확인해 봐"라는 힌트를 주자, 성공률이 두 배로 증가했습니다.
- 통찰: 가장 똑똑한 AI 들에게 가장 큰 문제는 퍼즐을 푸는 것이 아니라, 퍼즐이 실제로 무엇인지 파악하는 것입니다. 그들은 올바른 질문을 하는 데 서툴러요.
2 단계: 실험 수행 (발견)
- 문제점: AI 는 자신의 아이디어를 체계적으로 테스트하는 방법을 몰랐습니다.
- 해결책: 연구진은 '과학자'라는 하위 에이전트를 추가했습니다. 이는 작은 실험 (예: "여기에 블록을 놓으면 무슨 일이 일어날까?") 을 수행하고 보고서를 작성하는 것이 유일한 임무인 두 번째 AI 였습니다.
- 통찰: AI 에게 실험을 수행할 '과학자'가 주어지자 성능이 향상되었습니다. 이는 AI 가 실험하는 방법에 대한 지식은 가지고 있지만, 구조화된 과정 없이 스스로 수행하는 데는 어려움을 겪음을 보여줍니다.
3 단계: 규칙 기록 (정리)
- 문제점: AI 는 답을 찾았지만, 노트를 엉망으로 작성해 나중에 어떻게 사용해야 할지 잊어버렸습니다.
- 해결책: 연구진이 AI 에게 발견 사항을 엄격한 형식 (주장, 증명, 제약 조건, 예시) 으로 작성하도록 강제하자 성능이 크게 향상되었습니다.
- 통찰: 무언가를 '알고' 있는 것만으로는 부족합니다. AI 는 나중에 사용할 수 있도록 그 지식을 저장하고 조직화하는 방법을 알아야 합니다.
4 단계: 기계 구축 (적용)
- 문제점: 규칙을 파악하고 기록한 후에도 AI 는 게임 내에서 블록을 정확하게 배치하는 데 여전히 어려움을 겪었습니다.
- 통찰: 이는 '잔여' 간극입니다. AI 는 새로운 지식을 완벽한 물리적 구축으로 전환하는 데 여전히 어려움을 겪습니다. 그러나 가장 똑똑한 모델들의 경우 이 간극은 줄어들고 있는 반면, "올바른 질문을 던지는" 간극은 커지고 있습니다.

4. 주요 결론

이 논문은 AI 에게 전환점이 왔다고 결론 내립니다.

과거: AI 는 질문하기, 실험하기, 구축하기 모든 면에서 서툴렀습니다.
현재: 규칙을 제공하면 AI 는 구축(적용) 을 매우 잘하게 되었습니다.
미래의 병목 현상: 가장 어려운 부분은 더 이상 "문제를 해결하는 것"이 아닙니다. 가장 어려운 부분은 **"문제를 정의하는 것"**입니다.

최종 비유:
목적지와 경로를 알려주기만 하면 완벽하게 자율 주행하는 차를 상상해 보세요. 문제는 현재 그 차가 창밖을 내다보며 "아, 길이 막혔구나"라고 깨닫고 새로운 경로를 찾아 결정하는 데는 매우 서툴다는 점입니다. "야, 길이 막혔으니 우회해"라고 인간이 알려줘야 합니다.

연구진은 말합니다: 우리는 차가 더 빨리 달리게 만드는 것을 멈추고, 차가 길을 바라보며 어디로 가야 할지 파악하는 법을 가르쳐야 합니다.

기여 사항 요약

SCICRAFTER: AI 가 '발견'에서 '적용'으로 나아갈 수 있는지 확인하기 위한 새로운 테스트 (마인크래프트 내).
세부 분석: 똑똑한 AI 들의 가장 큰 장애물은 이제 아는 것을 적용하는 것이 아니라, 배워야 할 것을 식별하는 것임을 증명했습니다.
도구: AI 가 새로운 것을 배우는 데 크게 도움이 되는 '과학자' 보조 도구와 더 나은 메모 작성 방식을 개발했습니다.

다음은 논문 "Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft"(SCICRAFTER) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 인공지능 일반 (AGI) 의 근본적인 과제인"발견에서 적용까지의 격차 (Discovery-to-Application Gap)"를 다룹니다. 인간의 지성은 과학적 발견 (인과 모델 식별) 이 공학적 적용 (복잡한 시스템 구축) 을 이끄는 자기 진화적 루프로 특징지어지지만, 현재 AI 에이전트들은 이 전체 루프를 자율적으로 탐색하는 데 어려움을 겪고 있습니다.

기존 평가는 과학적 원리를 식별하는 것과 실제 세계의 응용을 공학적으로 구현하는 것 사이의"복잡성 격차"로 인해 방해받습니다. 이는 종종 수년의 작업과 복잡한 물리적 로봇 공학을 수반합니다. 저자들은 프런티어 대규모 언어 모델 (LLM) 에이전트가 다음을 수행할 수 있는지 평가하기 위해 통제되고 확장 가능한 환경을 구축하고자 합니다:

동적 환경에서 숨겨진 인과적 규칙성을 자율적으로 발견합니다.
이러한 발견을 적용하여 기능적인 시스템을 구축합니다.
인지 파이프라인의 정확히 어디에서 이러한 에이전트들이 실패하는지 식별합니다.

2. 방법론: SCICRAFTER 벤치마크

이 루프를 운영화하기 위해 저자들은 Minecraft 내의 Redstone 회로 시스템을 기반으로 구축된 SCICRAFTER 벤치마크를 소개합니다.

환경: Minecraft 는 풍부한 공간적, 인과적, 시간적 역학을 가진 영구적인 3D 세계로 역할을 합니다. 이는 복잡한 시스템 (기능적 CPU 까지) 의 구축을 가능하게 하지만 물리적 로봇 공학의 한계는 추상화합니다.
작업 스키마: 에이전트들은 고정된 영역 내에서 $N$ 개의 램프를 특정 패턴 (예: 동시에, 타이밍이 조정된 순서대로, 또는 특정 지연 시간으로) 으로 점화하는 작업을 수행합니다.
확장성: 난이도는 매개변수적으로 확장 가능합니다. 기본 작업 (예: 램프 4 개) 은 알려진 메커니즘에 의존하는 반면, 더 높은 수준 (예: 램프 64 개) 으로 확장되면 에이전트들은 신호 감쇠(신호 강도가 블록당 1 씩 감소), 리피터 의미(방향성 지연), 위상적 제약(대각선 연결 불가) 과 같은 숨겨진 역학을 발견하도록 강요받습니다.
에이전트 설정: 이 연구는 GPT-5.2, Gemini-3-Pro, Claude-Opus-4.5 등 프런티어 모델 세트를 평가하며, 커스텀 공학이 아닌 기본 LLM 기능의 공정한 비교를 보장하기 위해 표준화된 범용 코드 에이전트 스캐폴드(Claude Code) 를 장착합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

SCICRAFTER 벤치마크: 암기가 아닌 진정한 발견을 강요하는 자동 확장 가능한 난이도를 가진 새로운 작업 세트입니다. 매개변수화된 Redstone 회로 작업을 통해 발견에서 적용까지의 루프를 운영화합니다.
용량 분해 프레임워크: 저자들은 에이전트의 성능 격차를 실패를 진단하기 위해 네 가지 distinct 인지 용량으로 분해합니다:
- 지식 격차 식별: 무엇이 알려지지 않았는지 인식하고 연구 질문을 형성하는 능력.
- 실험적 발견: 인과 메커니즘을 추론하기 위해 엄격한 실험을 설계하고 수행하는 능력.
- 지식 통합: 발견된 내용을 재사용 가능한 구조화된 형식으로 정제하는 능력.
- 지식 적용: 알려진 지식을 사용하여 공학 작업을 추론, 계획 및 실행하는 잔여 능력.
새로운 에이전트 개입:
- 과학자 서브 에이전트: 가설, 설계, 실행, 분석을 수행하여 지식 격차를 메우는 체계적인 통제 실험을 수행하는 전문 에이전트.
- 구조화된 지식 통합: 발견된 법칙을 보존하고 검색하는 데 자유 형식 요약보다 우수한"주장 - 증명 - 제약 - 예제"특정 템플릿.

4. 실험 결과

저자들은 커리큘럼 설정 (L1 에서 L5) 하에서 GPT-5.2, Gemini-3-Pro, Qwen 변형 등을 포함한 8 개의 모델을 평가했습니다.

기선 성능: 모든 모델은 약 **26%**의 낮은 성공률에서 정체되었습니다 (최고: Gemini-3-Pro, 26.0%). 모델 파라미터만 확장하는 것은 병목 현상을 해결하지 못했습니다.
격차 분해 분석:
- 지식 격차 식별: "오라클 힌트"(답을 주지 않고 에이전트에게 무엇을 발견해야 하는지 알려줌) 를 제공하면 성공률이 두 배로 증가했습니다 (예: Gemini-3-Pro 의 경우 +26.5%). 이는 올바른 질문을 하는 것에서의 주요 실패를 나타냅니다.
- **실험적 발견:"과학자"서브 에이전트를 추가하면 성공률이 약 11.5% 추가로 증가하여 최고 모델이 **64.0%**에 도달했습니다. 이는 자율적이고 체계적인 실험에서의 격차를 강조합니다.
- 지식 통합: 자유 형식 요약에서 구조화된"주장 - 증명 - 제약 - 예제"형식으로 전환하면 상당한 이득 (58% 에서 64% 로) 을 거두어, 에이전트들이 미래 적용을 위해 지식을 구조화하는 데 어려움을 겪음을 보여줍니다.
- 지식 적용: 잔여 격차 (최고 모델의 경우 36%) 는 알려진 법칙을 올바른 물리적 구조 (예: 잘못된 방향으로 블록 배치) 로 변환하는 근본적인 무능력을 나타냅니다.
병목 현상의 이동: 더 작은 모델들의 경우 주요 병목 현상은 지식 적용(실행) 이지만, 프런티어 모델들의 경우 병목 현상은 지식 격차 식별(올바른 문제 형성) 로 이동하고 있습니다.

5. 중요성과 함의

AI 한계의 재정의: 이 연구는 단순히 모델 크기를 확장하는 것만으로는 일반 지능에 도달할 수 없음을 시사합니다. 무엇을 발견해야 하는지 식별하는 능력이 새로운 프런티어가 되고 있으며, 이는"문제를 형성하는 것이 종종 해결하는 것보다 더 필수적이다"라는 아인슈타인의 관찰과 공명합니다.
진단 도구: SCICRAFTER 는 이진 통과/실패 지표를 넘어 에이전트가 왜 실패하는지 (예: 구조적 오류 대 의미적 오해) 이해하기 위해 AI 에이전트의 특정 인지 실패를 분리해내는"진단 프로브"로 역할을 합니다.
방법론적 발전: 이 논문은 구조화된"과학자"서브 에이전트와 특정 지식 통합 형식이 현재 LLM 의 잠재적 발견 능력을 크게 해방시킬 수 있음을 보여주며, 미래 에이전트 시스템에 대한 청사진을 제공합니다.
실패 모드: 분석은 가장 미묘하고 어려운 실패가 와이어 의미 실패(3 등급) 라는 것을 밝혔습니다. 이는 에이전트들이 방향성 연결에 대한 이해 부족으로 인해 잘못 작동하는 것처럼 보이는 회로를 구축하는 경우입니다. 이는 에이전트가 특정 제약의 관련성을 인식하지 못하는"식별 격차"와 유사합니다.

결론적으로, 현재 AI 에이전트들은 알려진 작업을 실행하는 데 있어 가능성을 보이지만, 특히 지식 격차를 자율적으로 식별하고 실험적 발견을 구조화하는 전적인 발견에서 적용까지의 루프에서는 여전히 크게 제한적입니다. 저자들은 이러한 격차를 해소하는 연구로 나아가기 위해 SCICRAFTER 를 오픈 테스트베드로 공개합니다.