💬 NLP

Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks

이 논문은 LLM이 미학습 프로그래밍 언어를 효율적으로 습득할 수 있도록 행동 프리미티브(behavioral primitives)를 활용해 문서와 실행 환경을 탐색하며 지식을 점진적으로 학습하는 추론 시점 언어 습득(ILA) 프레임워크인 'ILA-agent'를 제안하고, 이를 새로운 언어인 Cangjie를 활용한 벤치마크를 통해 검증하였습니다.

원저자: Chen Shen, Wei Cheng, Jingyue Yang, Huan Zhang, Yuhan Wu, Wei Hu

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chen Shen, Wei Cheng, Jingyue Yang, Huan Zhang, Yuhan Wu, Wei Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 AI의 한계: "공부 안 한 시험 문제"

기존의 AI(ChatGPT 같은 모델들)는 엄청나게 많은 데이터를 미리 읽고 공부합니다. 마치 수만 권의 책을 통째로 외운 천재 학생과 같죠. 하지만 이 학생에게 **"어제 막 발표된, 세상에 아무도 써본 적 없는 새로운 언어"**로 문제를 풀라고 하면 어떻게 될까요?

기존 방식 (Fine-tuning): 학생에게 그 새로운 언어로 된 책을 수만 권 가져다주고 다시 밤새워 외우게 하는 방식입니다. 돈과 시간이 너무 많이 들죠.
기존 방식 (RAG/검색): 시험 중에 옆에 백과사전을 놔주는 방식입니다. 하지만 학생이 언어의 기초도 모르니, 백과사전에서 무엇을 찾아야 할지 몰라 엉뚱한 페이지를 뒤적거리다 시간을 다 버립니다.

2. 이 논문의 해결책: "ILA-agent" (스스로 학습하는 탐험가)

연구진은 AI에게 "외우는 능력" 대신 **"스스로 찾아보고 확인하는 능력"**을 주었습니다. 이를 **ILA(Inference-time Language Acquisition, 추론 시 언어 습득)**라고 부릅니다.

이 AI는 마치 **"낯선 외국 땅에 떨어진 똑똑한 탐험가"**와 같습니다. 탐험가는 언어를 모르지만, 다음 세 가지 도구를 가지고 있습니다.

① 탐험 도구 (Exploration Primitives): "지도와 백과사전 보기"

탐험가는 모르는 단어가 나오면 당황하지 않고 **공식 매뉴얼(Documentation)**을 펼칩니다.

구조 보기: "이 나라의 법전은 어떻게 구성되어 있지?"라며 전체 목차를 훑어봅니다.
의미 검색: "단어는 정확히 모르겠지만, '숫자를 더하는 법'과 비슷한 개념이 어디 있지?"라며 맥락으로 찾아냅니다.

② 검증 도구 (Verification Primitives): "직접 해보고 깨지기"

탐험가는 머리로만 생각하지 않습니다.

실행해보기: "이 문장이 맞나? 일단 말해보고 상대방 반응을 보자."라고 생각하며 직접 코드를 실행해 봅니다. 만약 틀렸다면, 컴퓨터가 내뱉는 "에러 메시지"를 보고 "아, 이 단어는 이렇게 쓰는 게 아니구나!"라고 즉시 깨닫습니다.

③ 맞춤형 도구 (Language-specific Extensions): "전문가에게 물어보기"

특정 언어에 특화된 '전문가 도구(예: 타입 체크 도구)'를 사용하여, 더 빠르고 정확하게 정보를 얻습니다.

3. 실험 결과: "천재 탐험가의 탄생"

연구진은 화웨이가 새로 만든 **'창절(Cangjie)'**이라는 아주 생소한 언어를 테스트용 시험지로 만들었습니다. 기존 AI들은 이 언어를 거의 몰랐기 때문에 점수가 바닥이었죠.

하지만 ILA-agent를 장착한 AI는 달랐습니다.

먼저 매뉴얼을 뒤져서 기초 문법을 익히고,
코드를 짜서 실행해 본 뒤,
에러가 나면 다시 매뉴얼을 찾아 수정하는 과정을 반복했습니다.

그 결과, 단순히 책을 찾아보는 방식(RAG)이나 억지로 외우게 한 방식보다 훨씬 높은 정답률을 기록했습니다.

요약하자면!

이 논문은 AI에게 **"모든 것을 미리 외워라"**라고 강요하는 대신, **"모르면 매뉴얼을 찾아보고, 직접 해보면서 틀리면 고쳐나가라"**라는 **'학습하는 방법'**을 가르친 것입니다.

이제 AI는 새로운 프로그래밍 언어가 등장하더라도, 마치 사람이 새로운 기술을 배우듯 실시간으로 스스로 공부해서 전문가처럼 코드를 짤 수 있게 된 것입니다.

[기술 요약] 추론 시점의 미학습 프로그래밍 언어 습득 (ILA)

1. 문제 정의 (Problem Statement)

현재 대규모 언어 모델(LLM)의 코딩 능력은 사전 학습(Pre-training) 데이터셋의 양과 질에 크게 의존합니다. 이로 인해 다음과 같은 두 가지 핵심적인 한계가 발생합니다.

지식의 붕괴 (Knowledge Collapse): 대중적인 언어(Python, Java 등)에는 능숙하지만, 새롭게 등장한 범용 언어나 특정 도메인 전용 언어(DSL)와 같이 학습 데이터가 부족한 '신생 언어'를 접하면 코딩 성능이 급격히 저하됩니다.
기존 방식의 한계:
- 파인튜닝(Finetuning): 신생 언어의 경우 학습할 데이터 자체가 부족한 '콜드 스타트(Cold-start)' 문제와 막대한 비용이 발생합니다.
- RAG (Retrieval-Augmented Generation): 단순히 문서를 검색해 컨텍스트로 제공하는 방식은 언어의 고유한 용어를 정확히 쿼리하기 어렵고, 실행 환경과의 상호작용(검증 루프)이 없어 문법적 엄밀성을 보장하지 못합니다.

2. 제안 방법론: ILA-agent (Methodology)

본 논문은 모델이 문제를 해결하는 과정에서 실시간으로 언어를 배우는 추론 시점 언어 습득(Inference-time Language Acquisition, ILA) 패러다임을 제안합니다. 이를 위해 인간의 학습 과정을 모방한 ILA-agent 프레임워크를 설계했습니다.

핵심 구성 요소: 행동 프리미티브 (Behavioral Primitives)

ILA-agent는 LLM이 도구(Tools)로서 사용할 수 있는 일련의 행동 단위들을 갖추고 있습니다.

탐색 프리미티브 (Exploration Primitives): 공식 문서를 통해 지식을 습득합니다.
- Structural Views: ViewStruct(문서 구조 파악)와 ViewDetail(세부 내용 확인)을 통해 문서의 계층 구조를 탐색합니다.
- Global Search: SemSearch(의미론적 검색)를 통해 키워드가 일치하지 않더라도 개념적으로 유사한 정보를 찾아냅니다.
검증 프리미티브 (Verification Primitives): 실행 환경과 상호작용하여 지식을 확인합니다.
- Execute: 코드 스니펫을 실행하여 문법 오류나 런타임 동작을 즉각 확인합니다.
- Submit: 완성된 솔루션을 테스트 케이스에 제출하여 최종 정답 여부를 판별합니다.
언어 특화 확장 (Language-specific Extensions):
- 예시로 제시된 TypeLookup과 같이, 정적 타입 언어의 특성에 맞춰 타입 정보를 빠르게 조회하는 플러그인을 지원합니다.

3. 주요 기여 (Key Contributions)

ILA-agent 프레임워크 제안: 탐색과 검증을 결합하여 LLM이 스스로 언어를 학습하고 코드를 수정할 수 있는 범용적인 에이전트 구조를 제시했습니다.
Cangjie-bench 구축: 화웨이(Huawei)에서 최근 출시한 신생 정적 타입 언어인 Cangjie를 기반으로, 코드 생성(Generation), 번역(Translation), 프로그램 수정(Repair)을 포함하는 다중 작업 벤치마크를 구축하여 ILA 성능을 엄격히 평가했습니다.
행동 패턴 분석: 에이전트의 작업 궤적(Trajectory)을 분석하여, 모델이 어떻게 지식을 습득하고 도구를 사용하는지에 대한 인지적 패턴을 규명했습니다.

4. 실험 결과 (Results)

실험은 DeepSeek-V3.2, Qwen3-Max, Claude-Sonnet-4.5 등 최신 LLM을 대상으로 진행되었습니다.

성능 우위: ILA-agent는 모든 작업에서 기존의 파인튜닝 방식 및 RAG 베이스라인을 압도했습니다. 특히 코드 생성 작업에서 Iterative RAG 대비 약 16%~20% 이상의 정확도(ACC) 향상을 보였습니다.
검증의 중요성: Ablation Study 결과, 실행 환경을 통한 검증(Verification) 도구가 없을 경우 성능이 급격히 하락했습니다. 이는 단순한 문서 읽기보다 '실행 후 피드백을 통한 수정' 과정이 언어 습득의 핵심임을 증명합니다.
작업별 전략 차이:
- 생성/번역: '탐색 $\rightarrow$ 적용 $\rightarrow$ 검증'의 3단계 패턴을 따릅니다.
- 수정(Repair): 처음부터 Execute 도구를 집중적으로 사용하여 오류 메시지를 분석하는 '진단 우선(Diagnosis-first)' 전략을 사용합니다.

5. 의의 및 결론 (Significance)

본 연구는 LLM이 가진 지식의 한계를 모델의 파라미터를 수정하는 방식(학습)이 아닌, **추론 시점의 능동적인 상호작용(에이전트 행동)**을 통해 극복할 수 있음을 보여주었습니다. 이는 데이터가 부족한 신생 언어나 특수 도메인 언어 환경에서 LLM을 활용한 소프트웨어 개발 자동화의 가능성을 크게 확장시킨 연구입니다.