Context-Mediated Domain Adaptation in Multi-Agent Sensemaking Systems
이 논문은 사용자가 생성된 산출물을 수정하는 행위를 암묵적 도메인 사양으로 간주하여 다중 에이전트 추론을 적응시키는 '맥락 매개 도메인 적응' 패러다임을 제안하고, 이를 통해 Seedentia 시스템이 사용자의 수정 패턴을 역추적하여 암묵적 전문성을 추출하고 인간-AI 협업의 정밀도를 높일 수 있음을 실증합니다.
원저자:Anton Wolter, Leon Haag, Vaishali Dhanoa, Niklas Elmqvist
이 논문은 **"AI 가 전문가의 실수 (수정) 를 통해 스스로 배우는 새로운 방법"**에 대해 이야기합니다.
기존의 AI 는 우리가 "이렇게 해줘"라고 말하면 해주고, 우리가 "아니야, 저렇게 고쳐줘"라고 수정하면 그건 그냥 끝납니다. 다음에 또 같은 일을 시키면 AI 는 여전히 같은 실수를 반복합니다. 마치 매번 처음부터 다시 설명해야 하는 초보 직원과 같은 거죠.
하지만 이 논문에서 소개하는 **'Seedentia'**라는 시스템은 다릅니다. 이 시스템은 전문가들이 AI 가 만든 글을 고칠 때, 그 '고치는 행위' 자체를 배움의 자료로 삼아 점점 똑똑해집니다.
이 복잡한 개념을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.
1. 비유: "초보 요리사와 미식가"
기존 방식 (일회성 주문): 당신이 미식가 (전문가) 라고 칩시다. 초보 요리사 (AI) 가 요리를 만들어 왔는데, "소금 좀 덜 넣고, 고기는 더 잘게 썰어줘"라고 수정했습니다.
문제점: 다음 날 당신이 또 같은 요리를 시키면, 초보 요리사는 "아, 어제 소금 적게 넣으셨지?"라고 기억하지 못합니다. 다시 "소금 적게"라고 말해야 합니다.
이 논문의 방식 (Seedentia): 초보 요리사가 당신의 수정 사항을 비밀 노트에 적습니다.
"미식가는 소금 양을 10% 줄이고, 고기는 2mm 두께로 썰기를 선호함."
다음 날, 다른 미식가가 같은 요리를 시키면, 요리사는 그 노트를 보고 이미 수정된 상태로 요리를 냅니다.
결과: 두 번째 미식가는 "와, 내 취향을 정확히 알아!"라고 느끼고, 고칠 일이 훨씬 줄어듭니다.
2. 비유: "함께 성장하는 등산 가이드"
이 시스템은 **등산 가이드 (AI)**와 **등산가 (사용자)**의 관계로 생각할 수 있습니다.
초반 (첫 번째 등산가): 가이드가 "이 길은 평탄해요"라고 안내합니다. 하지만 등산가 (전문가) 가 보니 "아니, 이 길은 돌이 많아서 무릎에 안 좋아요. 옆길로 가자"라고 고칩니다.
기존 AI 는 이 말을 듣고 다음 등산가에게 "이 길은 평탄해요"라고 다시 말합니다.
이 시스템의 방식: 가이드는 등산가의 수정을 지도에 표시합니다. "이곳은 돌이 많으니 피해야 함"이라고 메모합니다.
두 번째 등산가가 오면, 가이드는 이미 메모한 내용을 바탕으로 **"이곳은 돌이 많으니 옆길로 가세요"**라고 미리 안내합니다.
세 번째, 네 번째 등산가가 오면 가이드는 등산가들의 경험을 모두 합쳐서 더 완벽한 지도를 만들어냅니다.
핵심: 한 사람의 수정이 다음 사람의 길을 편하게 만들어주는 지속 가능한 학습이 일어납니다.
3. 비유: "무한한 학습 노트"
이 시스템의 가장 큰 특징은 사용자가 직접 말로 설명하지 않아도 된다는 점입니다.
전문가의 '암묵지' (Tacit Knowledge): 전문가들은 "왜 이 단어를 써야 하는지", "왜 이 구조가 중요한지"를 말로 설명하기 어렵습니다. 그냥 "이거 좀 고쳐야겠어"라고 손으로 고칩니다.
시스템의 역할: Seedentia 는 그 **고치는 손길 (수정 패턴)**을 분석합니다.
"사용자가 '사용자'라는 단어를 계속 '참여자'로 바꿨구나" → 용어 습득
"사용자가 통계 분석 방법을 추가했구나" → 방법론 습득
"사용자가 장애인 접근성을 언급했구나" → 개념 확장
이렇게 고치는 행위 자체가 새로운 지식이 되어 시스템의 두뇌 (컨텍스트) 에 저장됩니다.
이 시스템이 실제로 한 일 (실험 결과)
연구진은 시각화 (Visualization) 분야 전문가 5 명에게 이 시스템을 사용하게 했습니다.
1 번 참가자: AI 가 만든 연구 질문을 보고 "이건 너무 일반적이야"라고 직접 고쳤습니다. (수정 횟수 많음)
2 번 참가자: 1 번 참가자가 고친 내용을 바탕으로 AI 가 더 잘 만든 질문을 받았습니다. (수정 횟수 감소)
5 번 참가자: 앞선 4 명이 모두 고친 내용을 AI 가 학습했기 때문에, 처음부터 아주 훌륭한 질문을 받았습니다. (거의 수정할 필요 없음)
결과:
시간이 지날수록 AI 가 처음부터 더 좋은 답을 내놓았습니다.
전문가들은 "내가 고친 내용을 AI 가 다음에 적용해 줘서 정말 편리했다"고 느꼈습니다.
특히 전문가들이 고친 내용 중 56% 는 단순한 단어 교체가 아니라, 연구의 깊이나 방향을 바꾼 중요한 개념적 변화였습니다. 즉, AI 가 전문가의 '생각'까지 배운 것입니다.
요약: 왜 이것이 중요한가요?
지금까지 AI 는 우리가 매번 다시 설명해 줘야만 했습니다. 하지만 이 기술은 우리가 고치는 행위를 통해 AI 가 우리 분야 (도메인) 의 전문가처럼 변하게 만듭니다.
한 번 고친 내용은 영원히 기억됩니다.
앞사람의 수고가 뒷사람의 시간을 아껴줍니다.
전문가들은 복잡한 지시 없이, 그냥 고치기만 하면 됩니다.
이것은 AI 와 인간이 서로 배우며 함께 성장하는 진정한 파트너십의 시작이라고 할 수 있습니다.
1. 문제 정의 (Problem Statement)
현재 LLM(대형 언어 모델) 기반의 다중 에이전트 시스템은 복잡한 추론 및 정보 검색 작업을 수행하지만, 다음과 같은 근본적인 한계를 가지고 있습니다.
일방향적 상호작용: 사용자는 프롬프트로 요구사항을 입력하고 결과를 받지만, 사용자가 생성된 산출물 (artifact) 을 수정 (수정, 용어 변경, 구조 재구성 등) 하는 행위가 시스템의 추론 로직에 피드백되지 않습니다.
암묵적 지식의 소실: 도메인 전문가가 AI 생성물을 수정할 때 드러나는 전문 지식 (용어 선호도, 방법론적 세부사항, 개념적 뉘앙스 등) 은 시스템에 학습되지 않고 사라집니다.
콜드 스타트 (Cold Start) 문제: 매번 새로운 작업이 시작될 때마다 사용자는 이미 수정을 통해 증명된 도메인 지식을 다시 명시적으로 프롬프트로 입력해야 하므로, 동일한 오류가 반복되고 전문가의 수정 노력이 낭비됩니다.
명시적 프롬프트 엔지니어링의 부담: 사용자는 복잡한 도메인 요구사항을 명시적으로 프롬프트로 작성하는 전문가가 되어야만 효과적인 AI 를 사용할 수 있습니다.
2. 방법론 (Methodology)
저자들은 문맥 기반 도메인 적응 (Context-Mediated Domain Adaptation, CMDA) 이라는 새로운 패러다임을 제안합니다. 이는 사용자가 생성물을 수정하는 행위를 '암묵적 도메인 명세 (implicit domain specification)'로 간주하여, 이를 추출하여 시스템의 추론 행동을 재구성하는 양방향 학습 시스템입니다.
핵심 구성 요소
양방향 도메인 적응 표현 (BDAR, Bidirectional Domain-Adaptive Representation):
AI 가 생성한 초기 상태와 사용자가 수정한 최종 상태를 연결하는 구조화된 산출물 형식입니다.
생성 컨텍스트 (프롬프트, 파라미터) 와 수정 이력 (편집 거리, 변경 패턴) 을 모두 보존하여, 시스템 지식과 사용자 전문성 간의 차이를 '델타 (delta)'로 포착합니다.
적응형 문맥 객체 (ACO, Adaptive Context Object):
사용자 수정 패턴에서 추출된 도메인 지식을 축적하는 저장소입니다. 다음 세 가지 범주로 분류됩니다.
도메인 용어 진화 (Domain Terminology Evolution): 전문 용어 선호도 및 언어 사용 패턴 (예: 'chart'를 'visualization'으로 변경).
방법론적 정제 (Methodological Refinements): 연구 접근법, 분석 프레임워크, 평가 기준의 개선 (예: 통계 분석 요구사항 명시).
개념적 깊이 변화 (Conceptual Depth Changes): 이론적 뉘앙스, 개념적 관계, 도메인 특유의 고려사항 추가 (예: 접근성 고려, 이론적 프레임워크 도입).
지식 추출 및 전파 파이프라인:
추출 (Extraction): 사용자의 수정 (직접 편집, 프롬프트 기반 재생성 등) 을 분석하여 LLM 을 통해 위 3 가지 범주의 지식을 추출합니다.
전파 (Propagation): 추출된 지식을 '적응형 문맥'으로 변환하여 다음 생성 단계의 프롬프트에 주입합니다. 이를 통해 시스템은 수정 없이도 도메인 규칙을 준수한 결과를 생성합니다.
구현 시스템 (Seedentia):
웹 기반 다중 에이전트 프레임워크로, LangGraph 를 활용한 워크플로우 오케스트레이션과 PostgreSQL 기반의 지속적 지식 저장소를 구현했습니다.
3 가지 상호작용 모드:
직접 조작 (Direct Manipulation): 인라인 편집 (용어 수정 등).
프롬프트 기반 재생성 (Prompt-based Regeneration): 자연어 지시를 통한 내용 재구성.
문맥 기반 생성 (Context-based Generation): 축적된 지식을 기반으로 추가 입력 없이 생성.
3. 주요 기여 (Key Contributions)
CMDA 패러다임 제안: 사용자 수정을 양방향 학습 신호로 활용하여 다중 에이전트 행동을 재구성하는 새로운 상호작용 모델 제시.
기술적 아키텍처 (Seedentia): BDAR 형식과 ACO 를 활용한 지속적 지식 축적 시스템 구현. Next.js 프론트엔드와 Python/LangGraph 백엔드를 통한 실시간 편집 추적 및 지식 추출 인프라 구축.
실증 연구 결과: 시각화 문해력 (Visualization Literacy) 분야의 전문가 5 명을 대상으로 한 탐색적 평가를 통해, 사용자 수정 패턴을 통해 암묵적 지식을 추출하고 이를 다음 사용자에게 전파할 수 있음을 입증했습니다.
4. 평가 결과 (Results)
5 명의 도메인 전문가가 순차적으로 시스템을 사용하며 3 편의 학술 논문을 기반으로 연구 질문을 생성하는 실험을 수행했습니다.
지식 추출 성공: 총 46 개의 고유한 도메인 지식 항목이 사용자 수정에서 추출되었습니다.
분포: 개념적 깊이 변화 (56.5%), 도메인 용어 진화 (21.7%), 방법론적 정제 (21.7%).
의미: 단순한 오타 수정이 아닌, 연구의 범위와 이론적 틀을 확장하는 고수준의 지식이 추출됨을 확인.
품질 향상: 후순위의 참가자 (P4, P5) 는 초기 생성물의 품질 평가 점수가 더 높았으며 (P1: 2.67~3.0 → P4: 4.33), 수정 노력이 감소하는 경향을 보였습니다.
지식 축적의 선순환: P3 은 이전 참가자들의 22 개 지식을 활용했음에도 불구하고 20 개의 새로운 지식을 기여했습니다. 이는 축적된 지식이 전문가의 참여를 억제하지 않고, 오히려 더 정교한 심층 수정을 가능하게 함을 시사합니다.
효율성: 평균 세션 시간이 감소하는 경향을 보였으나 (P1: 6.3 분/논문 → P4: 5.6 분/논문), 이는 시스템 학습과 참가자 숙련도 모두의 영향으로 해석됩니다.
5. 의의 및 중요성 (Significance)
명시적 프롬프트의 한계 극복: 사용자가 복잡한 도메인 요구사항을 프롬프트로 직접 작성할 필요 없이, 자연스러운 수정 행위를 통해 시스템이 자동으로 도메인 특화 능력을 습득하게 합니다.
지속 가능한 학습 시스템: 일회성 세션을 넘어, 한 사용자의 교정이 다음 사용자와 미래 세션의 시스템 성능을 향상시키는 '지속적 학습 (Continuous Learning)' 구조를 확립했습니다.
모델 중립성 (LLM-agnostic): 추출된 지식이 LLM 모델에 의존하지 않는 형식으로 저장되므로, 백엔드 LLM 을 교체하더라도 축적된 도메인 지식을 유지할 수 있습니다.
다중 에이전트 시스템의 진화: 고정된 상호작용 패턴을 가진 기존 에이전트 시스템에서, 사용자 피드백에 따라 추론 패턴이 진화하는 적응형 시스템으로의 전환을 가능하게 합니다.
이 연구는 AI 와 인간의 협업에서 '수정 (Correction)'이 단순한 오류 정정이 아닌, 시스템의 지능을 향상시키는 핵심 학습 데이터임을 입증했다는 점에서 HCI 및 AI 시스템 설계 분야에서 중요한 의의를 가집니다.