🤖 AI

Agentic Context Learning with Self-Discovered Specification

이 논문은 거대 언어 모델의 컨텍스트 학습에서 주요 과제가 단순히 콘텐츠에 접근하는 것이 아니라 컨텍스트 전반에 분산된 암묵적이고 작업 특화적인 명세(specifications)를 획득하는 것임을 식별하며, 적대적 검증을 통해 이러한 명세를 추출하고 강제하는 PSCI라는 단순한 개입이 CL-Bench 벤치마크에서 기존 베이스라인들을 유의미하게 능가한다는 것을 입증한다.

원저자: Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

방금 당신은 아주 새롭고 매우 복잡한 비디오 게임의 40,000페이지에 달하는 거대한 사용 설명서를 건네받았다고 상상해 보세요. 이 매뉴얼은 설정, 캐릭터 배경 이야기, 그리고 세계관의 역사로 가득 차 있습니다. 그때 친구가 당신에게 아주 단순한 질문을 던집니다. "레벨을 건너뛰면 어떻게 돼?"

당신은 그 거대한 책에서 답을 찾는 것이 가장 어려운 부분이라고 생각할지도 모릅니다. "만약 내가 '레벨 건너뛰기'를 검색하면 답을 찾을 수 있을 거야!"라고 생각하겠죠. 하지만 여기 반전이 있습니다. 이 논문은 현대 AI 모델들에게 진짜 문제는 답(내용)을 찾는 것이 아니라고 주장합니다. 진짜 문제는 그 답을 올바르게 작성하는 방법(사양/스펙)을 알려주는 '게임의 규칙'을 찾는 것입니다.

"아까비"의 미스터리 (The "Near-Miss" Mystery)

연구진은 이를 CL-Bench라는 벤치마크를 통해 테스트했습니다. 이 벤치마크는 AI가 긴 텍스트로부터 새로운 규칙을 학습해야 하는 까다로운 작업 1,899개를 포함하고 있습니다. 결과는 놀라웠습니다. GPT-5.1과 같은 가장 똑똑한 AI 모델조차도 약 **22.55%**의 작업만을 완벽하게 수행했습니다.

하지만 연구진이 오류를 자세히 들여다보았을 때, 이상한 점을 발견했습니다. AI는 보통 사실 관계를 틀리는 것이 아니었습니다. 바로 '형식'을 틀리고 있었습니다.

사실: AI는 누락된 ID가 "404"라는 것을 알고 있었습니다.
규칙: 매뉴얼에는 "누락된 ID를 발견하면 반드시 정확한 플래그인 Sequence_Gap_Warning을 작성해야 한다"라고 적혀 있었습니다.
실수: AI는 "404"라고 썼지만, 플래그를 빠뜨렸습니다.

이것은 "아까비(near-miss)" 상황이었습니다. AI는 내용은 알고 있었지만, 로컬 사양(local specification)을 놓친 것입니다. 실제로 논문에 따르면, 테스트된 모든 규칙 중 **55.4%**가 이러한 특정 동작(형식, 순서, 정확한 문구 등)에 관한 것이었으며, 사실적 내용에 관한 것은 **22.6%**에 불과했습니다.

왜 "검색"이 통하지 않았나

자연스러운 추측은 이럴 것입니다. "아마 AI가 매뉴얼에서 적절한 페이지를 찾지 못하는 게 아닐까?" 그래서 연구진은 AI가 더 잘 검색할 수 있도록 돕기 위해 요약하거나 관련 부분을 추출하는 등 12가지 다른 방법을 시도했습니다.

결과는 어땠을까요? 검색 중심의 방법들 중 가장 뛰어난 것도 여전히 약 **23%**의 점수에 머물렀습니다. 이는 단순히 적절한 페이지를 찾는 것이 문제가 아님을 시사합니다. 문제는 규칙들이 종종 배경 속에 숨겨져 있다는 것입니다. 마치 "이벤트 의미론(event semantics)"에 관한 단락 속의 각주처럼 말이죠. AI는 명시적으로 찾아보지 않는 한, 자신이 그 규칙을 따라야 한다는 사실을 깨닫지 못합니다.

"사적 계약" 솔루션 (The "Private Contract" Solution)

이를 증명하기 위해 연구진은 PSCI(Private Specification-Contract Induction)라는 간단한 트릭을 설계했습니다. 이것을 다음과 같이 생각해 보세요.

AI가 질문에 답하기 전에, 그들은 AI에게 "사전 게임 미팅"을 강제합니다.

유도(Induce): AI는 전체 매뉴얼을 읽고 자신이 발견한 모든 숨겨진 규칙들의 "사적 계약(Private Contract)"을 작성합니다 (예: "규칙 1: 항상 Sequence_Gap_Warning 플래그를 사용할 것").
생성(Generate): AI는 답변을 작성하되, 반드시 그 계약을 따라야 합니다.
확인(Check): "심판"(또 다른 AI 단계)이 답변을 계약과 대조하여 확인합니다. 플래그를 사용했는가? 순서를 지켰는가?
수정(Repair): 만약 심판이 "아니오"라고 하면, AI는 사용자에게 보여주기 전에 답변을 수정합니다.

결과는 어땠을까요? 이 간단한 4단계 프로세스는 GPT-5.1의 점수를 **22.55%**에서 **28.14%**로 끌어올렸습니다. 이는 5.59 퍼센트 포인트 상승이며, 이 분야에서는 엄청난 수치입니다. 이 방식은 Qwen3.5-27B(14.14%에서 19.42%로 상승)와 Gemini 3 Pro(16.14%에서 22.31%로 상승) 같은 다른 모델에서도 효과가 있었습니다.

이 방법이 배제하는 것들

논문은 무엇이 효과가 없는지에 대해 매우 명확하게 밝히고 있습니다:

단순히 더 많이 검색하기: 더 많은 검색 도구를 문제에 투입해도 도움이 되지 않았습니다.
단순히 더 깊이 생각하기: 원래 CL-Bench 평가의 "GPT 5.1 (High)" 설정을 사용하는 것만으로는 **23.7%**를 얻었을 뿐이며, 이는 PSCI 트릭이 달성한 **28.14%**보다 여전히 낮았습니다.
일반적인 체크리스트: 만약 AI에게 이 특정 맥락으로부터 나온 구체적인 규칙을 먼저 작성하게 하지 않고, 단순히 "네 작업을 검토하라"고 요청한다면 도움이 되지 않습니다. 규칙은 반드시 해당 작업에 특화되어 있어야 합니다.

얼마나 확신하는가?

저자들은 이 과정을 엄격하게 테스트했기 때문에 자신들의 발견에 상당히 확신하고 있습니다. 그들은 단순히 추측한 것이 아니라, 무엇이 작동하는지 확인하기 위해 17가지의 서로 다른 "어블레이션(ablation, 요소 제거)" 실험을 수행했습니다.

그들은 만약 규칙을 뒤섞는다면(AI에게 잘못된 계약을 준다면), 점수가 **19.80%**로 급락한다는 것을 증명했습니다. 이는 규칙이 특정 작업과 일치해야 함을 입증합니다.
그들은 "계약" 단계를 건너뛰고 나중에 AI에게 자신의 작업을 스스로 확인하도록 요청하면 실패한다는 것을 증명했습니다. 계약은 답변이 생성되기 전에 작성되어야 합니다.
그들은 심지어 인간 전문가들이 AI의 답변 100개를 검토하게 했습니다. 인간은 컴퓨터의 판단과 **96%**의 일치율을 보였으며, 이는 AI가 단순히 찍는 것이 아니라 실제로 개선되고 있음을 확인시켜 주었습니다.

핵심 요약

이 논문은 AI가 긴 텍스트로부터 새로운 규칙을 배우기 위해서는, 단순히 적절한 책을 찾아내는 유능한 사서가 되어서는 안 된다고 제안합니다. 대신, 세부 조항을 읽고, 규칙의 계약서를 작성한 뒤, 어떤 일을 시작하기 전에 그 계약에 서명하는 유능한 변호사가 되어야 합니다.

**28.14%**라는 점수가 현재까지는 최고 기록이지만, 저자들은 이것이 아직 "해결된" 문제는 아니라고 언급합니다. 특히 "집행(enforcement)" 부분, 즉 AI가 자신이 작성한 계약을 실제로 잘 따르도록 만드는 데 있어 개선의 여지가 여전히 많습니다. 하지만 핵심 메시지는 분명합니다: 컨텍스트 러닝(Context learning)은 단순히 답을 찾는 것이 아니라, 먼저 게임의 규칙을 발견하는 것입니다.

기술 요약: 자기 발견된 명세(Specification)를 통한 에이전트적 문맥 학습(Agentic Context Learning)

1. 문제 정의: 문맥 학습의 병목 현상

본 논문은 대규모 언어 모델(LLM)이 사전 학습 단계에는 존재하지 않았던 복잡하고 긴 문맥으로부터 새롭고 작업 특화적인 지식을 학습하고 적용해야 하는 추론 시점의 과업인 **문맥 학습(Context Learning)**을 다룹니다. 단순히 문서를 이해하는 전통적인 롱 컨텍스트(long-context) 작업(예: 문서 이해)이 관련 사실을 검색하는 데 집중하는 것과 달리, 문맥 학습은 모델이 새롭게 정의된 로컬 환경(예: 제품 매뉴얼, 규제 코드, 또는 API 명세) 내에서 작동해야 하며, 이 환경에서는 유효성의 규칙이 종종 암시적으로 존재합니다.

일반적인 언어 작업에서는 강력한 성능을 보임에도 불구하고, 프런티어 모델들은 이 설정에서 현저한 어려움을 겪습니다. 1,899개의 태스크로 구성된 문맥 학습 전용 벤치마크인 CL-Bench에서 최상위 모델들의 엄격한 태스크 성공률(strict task success)은 24% 미만입니다. 저자들은 이러한 실패가 단순히 긴 문맥 내의 콘텐츠에 접근하지 못해서가 아니라, 답변의 유효성을 결정하는 데 분산되어 있는 로컬 명세(local specifications)—즉, 행동 제약, 포맷, 예외 처리 규칙, 완결성 조건 등—를 습득하는 데 실패했기 때문이라고 가설을 세웠습니다.

2. 경험적 분석 및 진단

저자들은 이러한 실패의 근본 원인을 진단하기 위해 CL-Bench에 대한 포괄적인 경험적 연구를 수행했습니다:

실패 모드 분석: 엄격한 태스크 통과율은 낮지만(22.55%), 루브릭(rubric) 수준의 통과율은 훨씬 높습니다(76.01%). 이는 모델이 대부분의 요구사항은 충족하지만 결정적인 몇 가지 항목에서 실패함을 나타냅니다. 정확히 하나의 루브릭 항목 때문에 실패한 태스크 중, **75.3%**는 사실적 콘텐츠 오류가 아닌 명세 항목(로컬 행동 제약 준수 여부)이었습니다.
요구사항 분류: 31,592개의 루브릭 항목을 조사한 결과, **55.4%**가 명세 습득(로컬 규칙 학습)을 평가하는 반면, **22.6%**만이 콘텐츠 습득(사실 검색)을 평가했습니다.
쿼리-문맥 비대칭성: 핵심적인 발견은 명세 항목의 **76.7%**가 사용자 쿼리만으로는 추론할 수 없다는 점입니다. 이들은 주변 문맥(예: 예시, 검증 패턴, 또는 반복되는 구조)에 분산되어 있습니다. 그러나 이 명세들의 **95.5%**는 문맥으로 **추적 가능(traceable)**하며, 이는 이들이 숨겨진 평가자의 선호도가 아니라 학습 가능한 의무 사항임을 의미합니다.
기존 방법론의 한계: 저자들은 검색, 문맥 재구조화, 자기 수정, 반복적 검색을 포함한 12가지 베이스라인을 평가했습니다. 그 어떤 것도 직접적인 풀 컨텍스트 프롬프팅(full-context prompting) 베이스라인보다 1%포인트 이상 높은 성능을 보이지 못했습니다. 이는 쿼리와 관련된 콘텐츠를 드러내는 데 집중하는 방식이 응답의 형태와 절차를 규정하는 유효성 관련 명세를 놓치기 때문임을 시사합니다.

3. 방법론: 프라이빗 명세-계약 유도 (PSCI)

명세 습득이 병목 구간이라는 진단을 검증하기 위해, 저자들은 의도적으로 단순하고 학습이 필요 없는 테스트 타임 스캐폴드인 PSCI를 제안합니다. PSCI는 네 단계의 순차적 과정으로 작동합니다:

명세 발견 (유도): 모델은 태스크( $x$ )와 문맥( $c$ )으로부터 **프라이빗 명세 계약( $K$ )**을 유도합니다. 이 계약은 로컬 유효성을 위해 요구되는 구조화된 의무 항목(포맷, 검증 체크, 순서 제약 등)의 집합입니다. 결정적으로, 이 계약은 생성 전에 유도되며 공용 루브릭에는 노출되지 않습니다.
생성: 모델은 태스크, 문맥, 그리고 유도된 계약 $K$ 에 조건화되어 초기 초안 답변( $y_0$ )을 생성합니다.
적대적 검사: 적대적 검사기(adversarial checker)가 공용 루브릭이 아닌 $K$ 를 기준으로 $y_0$ 를 감사하여, 어떤 의무가 충족되었는지, 부분적으로 충족되었는지, 혹은 위반되었는지를 나타내는 구조화된 진단( $d$ )을 생성합니다.
수정: 수정 단계에서는 $d$ 에서 식별된 위반 사항을 패치하여, 올바른 콘텐츠를 유지하면서 계약을 준수하는 최종 답변( $\hat{y}$ )을 생성합니다.

핵심 혁신은 명세 계약을 사후적인 채점 도구가 아니라, 생성을 형성하는 **제어 객체(control object)**로 취급한다는 점입니다.

4. 주요 결과

저자들은 GPT-5.1, Qwen3.5-27B, Gemini 3 Pro를 사용하여 CL-Bench에서 PSCI를 평가했습니다:

최첨단 성능: PSCI는 GPT-5.1 (Medium)에서 **28.14%**의 엄격한 통과율을 달 기록했으며, 이는 직접 베이스라인(22.55%) 대비 +5.59%포인트 (24.8% 상대적 개선)의 절대적 향상입니다. 이 성능은 원래 CL-Bench 평가의 GPT-5.1 (High) 성능(23.7%)마저 넘어섰습니다.
교차 모델 일반화: 성능 향상은 모델 전반에서 일관되게 나타났습니다:
- Qwen3.5-27B: 14.14%에서 **19.42%**로 개선 (+5.28%p).
- Gemini 3 Pro: 16.14%에서 **22.31%**로 개선 (+6.17%p).
루브릭 수준의 이득: PSCI는 전체 루브릭 통과율을 +5.12%포인트 개선했습니다. 특히, 명세 항목에 대한 개선(격차의 23.2% 해소)이 콘텐츠 항목(격차의 15.5% 해소)보다 더 크게 나타나, 이 방법이 식별된 병목 구간을 정확히 타겟팅했음을 확인시켜 주었습니다.
베이스라인과의 비교: Self-RAG, Reflexion, 반복적 검색을 포함한 12가지 대안 베이스라인은 모두 직접 베이스라인의 0.78%포인트 이내에 머물렀으며, PSCI의 성능에 미치지 못했습니다.

5. 절제 연구(Ablation Studies) 및 메커즘 검증

태스크 특화 명세의 역할을 격리하기 위해 17가지 절제 연구가 수행되었습니다:

태스크 특수성의 필요성: 계약을 섞었을 때(다른 태스크의 계약 사용) 성능이 베이스라인(19.80%) 미만으로 급락하였으며, 이는 명세가 특정 태스크 문맥과 반드시 정렬되어야 함을 증명합니다.
문맥에 기반한 근거(Grounding): 제로샷 문맥 유도 명세는 성능을 개선했으나, 일반적인 정적 명세는 그렇지 못했습니다. 이는 명세가 현재 문맥으로부터 추출되어야 함을 확인해 줍니다.
강제 실행 vs 발견: 발견만 수행한 경우(검사/수정 없이 계약 유도만 수행) 26.09%에 도달했으나, 전체 파이프라인(28.14%)을 통해 **강제 실행(enforcement)**이 결정적임을 보여주었습니다.
제어 객체 vs 사후 채점기: 생성 후에 명세를 유도하는 방식(Answer-first ordering)은 23.67%에 그쳤으며, 이는 계약이 단순히 수정 가이드가 아니라 생성 과정을 형성하는 제어 객체로서 작용해야 함을 입증합니다.
연산 효율성: 연산량을 맞춘 대조군(예: 일반적인 자기 성찰, 반복되는 정적 명세)은 PSCI의 성능을 따라잡지 못했습니다. 이는 이 이득이 단순히 늘어난 추론 비용이 아니라, 계산의 구조(명세 발견 및 강제 실행)에서 온다는 것을 나타냅니다.

6. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

진단: 저자들은 문맥 학습의 핵심 병목이 콘텐츠 습득과는 구별되는, 명세 습득(쿼리에는 암시되어 있으나 문맥으로는 추적 가능한 로컬 의무 사항을 추론하는 것)임을 식별했습니다.
방법론: 명세를 명시적으로 유도하고 강제함으로써 최첨단 결과를 달성하는 단순하고 학습이 필요 없는 스캐폴드인 PSCI를 도입했습니다.
메커니즘: 광범이한 절제 연구를 통해 문맥 학습이 명세 발견(문맥에 근거함)과 명세 강제(검사 및 수정을 통한)라는 두 단계 과정이 필요함을 입증했습니다.

저자들은 문맥 학습이 단순히 올바른 사실을 검색하는 것이 아니라, 프롬프트 내에 정의된 로컬 "게임의 규칙"을 습득하고 준수하는 데 달려 있다고 결론짓습니다. 또한 PSCI가 성능을 유의미하게 향상시켰음에도 불구하고, 모델이 올바른 의무 사항을 표면화하더라도 최종 출력에서 이를 일관되게 실행하는 데 실패하는 경우가 많아 강제 실행이 여전히 잔여 병목 구간으로 남아 있음을 언급합니다. 이 연구는 문맥 학습의 향후 발전이 이러한 로컬 유효성 조건을 더 잘 내재화하고 강제하는 메커니즘을 요구함을 시사합니다.