🤖 AI

Agentifying Agentic AI

이 논문은 자율적 AI(Agentic AI)가 진정한 자율성과 책임성을 갖추기 위해서는 데이터 중심의 접근 방식을 넘어, AAMAS(자율 에이전트 및 다중 에이전트 시스템) 분야의 정형화된 인지, 협력 및 거버넌스 모델을 결합해야 한다고 주장합니다.

원저자: Virginia Dignum, Frank Dignum

게시일 2026-02-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Virginia Dignum, Frank Dignum

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 현재의 '에이전틱 AI'는 무엇인가? (비유: "말만 번지르르한 천재 신입사원")

지금의 에이전틱 AI(LLM 기반)는 마치 **엄청난 지식을 머릿속에 넣고 있는 '천재 신입사원'**과 같습니다. 질문을 하면 척척 대답하고, 복잡한 일도 뚝딱 해낼 것처럼 보이죠. 하지만 치명적인 문제가 있습니다.

기분파 혹은 예측 불가능함: 어제는 일을 잘했는데, 오늘은 갑자기 엉뚱한 결정을 내립니다. (예: 비행기 표를 예약하라 했더니, 가격이 싸다는 이유로 여행 일정을 다 망쳐버리는 식)
근거 없는 자신감: 인터넷에 떠도는 잘못된 정보(가짜 뉴스 등)를 진짜라고 믿고 그대로 실행해 버립니다.
사회성 부족: 혼자서는 잘하는 것 같지만, 다른 사람(또는 다른 AI)과 협력하거나 규칙을 지키는 법을 모릅니다. 그냥 "내 방식대로 할 거야!"라고 외치는 독불장군 같죠.

2. 논문의 핵심 주장: "진짜 에이전트가 되려면 '사회적 뼈대'가 필요하다"

저자들은 이 천재 신입사원에게 **'사회 생활 매뉴얼'과 '업무 프로세스'**를 가르쳐야 한다고 말합니다. 이를 위해 과거부터 연구되어 온 **AAMAS(자율 에이전트 및 멀티 에이전트 시스템)**라는 학문의 도구들을 가져와야 한다는 것이죠.

이것을 **'사회생활의 4대 요소'**로 비유해 보겠습니다.

① 업무 매뉴얼 (BDI 구조)

지금의 AI는 "그냥 해!"라고 하면 알아서 하는 것 같지만, 속마음이 어떤지는 알 수 없습니다. 논문은 AI에게 **'믿음(내가 아는 것)', '욕구(내가 하고 싶은 것)', '의도(내가 하기로 약속한 것)'**를 명확히 구분하는 시스템을 갖추라고 합니다. 그래야 AI가 "지금 이 일을 왜 하고 있는지", "왜 이 계획을 포기했는지"를 우리가 이해할 수 있습니다.

② 대화의 규칙 (통신 프로토콜)

지금 AI들은 그냥 '자연어(일상 대화)'로만 대화합니다. 하지만 일상 대화는 오해가 생기기 쉽죠. 논문은 AI들끼리 대화할 때 **"이건 부탁이야", "이건 약속이야", "이건 그냥 정보 전달이야"**라고 명확한 '신호'를 주고받는 규칙을 만들어야 한다고 합니다. 그래야 서로 오해해서 일을 그르치는 일이 없습니다.

③ 사내 규정 및 역할 (규범과 제도)

회사에는 직급이 있고, 지켜야 할 규칙이 있습니다. AI도 마찬가지입니다. "비서 AI라면 이런 선은 넘지 말아야지", "이런 상황에서는 상사에게 물어봐야지" 같은 **사회적 규칙(Norms)**을 심어줘야 합니다. 그래야 AI가 선을 넘는 돌발 행동을 하지 않고, 사회의 일원으로 안전하게 활동할 수 있습니다.

④ 평판 시스템 (신뢰와 평판)

우리는 시장에서 믿을 만한 가게를 고르듯, AI도 '믿을 만한 AI'인지 판단할 기준이 필요합니다. 과거에 일을 잘했는지, 약속을 잘 지켰는지 기록되는 '평판 시스템'이 있어야 AI들이 서로 협력하고 사기를 치지 않는 건강한 생태계가 만들어집니다.

3. 결론: "혼자 잘난 AI가 아니라, 함께 잘 사는 AI로"

결국 이 논문이 하고 싶은 말은 이것입니다.

"단순히 말을 잘하고 계산이 빠른 AI를 만드는 것을 넘어, 인간 사회의 규칙을 이해하고, 다른 AI와 협력하며, 책임감 있게 행동하는 '진짜 사회적 존재(Agent)'를 만들어야 한다."

지금의 AI가 **'똑똑하지만 통제 불가능한 야생마'**라면, 논문이 제안하는 미래의 AI는 **'규칙을 알고 협동할 줄 아는 숙련된 전문가'**가 되는 것입니다. 이렇게 되어야만 우리는 안심하고 AI에게 중요한 일을 맡길 수 있습니다.

[기술 요약] Agentic AI의 에이전트화 (Agentifying Agentic AI)

1. 문제 정의 (Problem Statement)

현재 AI 분야의 화두인 'Agentic AI'(대규모 언어 모델(LLM)을 기반으로 자율적 추론과 행동을 수행하는 시스템)는 강력한 유연성을 보여주지만, 다음과 같은 심각한 기술적·구조적 한계를 지니고 있습니다.

신뢰성 및 근거 부족 (Reliability & Grounding): LLM은 언어적 추론은 뛰어나지만, 실제 세계의 상태와 논리적으로 연결되지 않아 환각(Hallucination)을 일으키거나 잘못된 행동을 수행할 위험이 큼.
예측 불가능성 (Unpredictability): 과거의 출력이 미래의 행동을 보장하지 않으며, 수치적 제약 조건이나 복잡한 목표 설정 시 일관성을 유지하기 어려움.
데이터 편향 및 진실성 문제 (Data-driven Truth): LLM은 '진실'이 아닌 '데이터의 통계적 평균'을 따르므로, 논쟁적인 주제나 잘못된 정보가 다수인 데이터 환경에서 왜곡된 결정을 내릴 수 있음.
단일 에이전트 중심적 사고 (Single-agent Focus): 현재의 Agentic AI는 개별 에이전트의 성능 최적화에만 집중할 뿐, 다수의 에이전트나 인간이 공존하는 '사회적/다중 에이전트 환경'에서의 상호작용, 협력, 규범 준수 모델이 결여되어 있음.
검증 및 책임 소재 불분명 (Lack of Verifiability & Accountability): 블랙박스 형태의 LLM은 의사결정 과정을 명시적으로 설명하거나 검증할 수 없어, 사고 발생 시 책임 소재를 가리기 어려움.

2. 방법론 (Methodology)

본 논문은 기존의 데이터 중심적(Data-driven)인 Agentic AI 접근법을 자율 에이전트 및 다중 에이전트 시스템(AAMAS, Autonomous Agents and Multi-Agent Systems) 연구 전통의 구조적 모델과 결합할 것을 제안합니다.

즉, LLM의 '적응적 지능(Adaptive Intelligence)'을 AAMAS의 **'명시적 구조(Explicit Structure)'**로 보완하는 하이브리드 접근 방식을 제시합니다. 구체적으로 다음과 같은 AAMAS의 개념적 도구들을 활용합니다.

BDI 아키텍처 (Belief-Desire-Intention): 에이전트의 신념(Belief), 욕구(Desire), 의도(Intention)를 명시적으로 모델링하여 행동의 투명성과 목표 일관성을 확보.
형식적 통신 프로토콜 (Communication Protocols): 자연어의 모호함을 극복하기 위해 의미론적(Semantic)이 명확한 메시지 규약을 도입하여 오해 없는 협력 유도.
메커니즘 설계 및 인센티브 정렬 (Mechanism Design): 개별 에이전트의 이익이 전체 시스템의 목표와 일치하도록 보상과 규칙을 설계.
규범 및 제도 모델링 (Norms & Institutions): 사회적 역할, 의무, 권한, 금지 사항을 모델링하여 에이전트가 사회적 맥락 내에서 책임감 있게 행동하도록 제약.
사회적 의사결정 및 게임 이론 (Social Choice & Game Theory): 다수 에이전트 간의 갈등 해결, 협상, 전략적 상호작용을 위한 수학적 기반 제공.
마음 이론 (Theory of Mind): 타 에이전트의 의도와 상태를 추론하여 예측 가능한 협력을 가능케 함.

3. 주요 기여 (Key Contributions)

개념적 가교 구축 (Bridging the Gap): 최신 LLM 기반 Agentic AI와 수십 년간 축적된 AAMAS 이론 사이의 간극을 메우는 이론적 프레임워크를 제시함.
에이전트 개념의 재정의: 에이전시(Agency)를 단순히 '자율적인 행동 능력'이 아닌, **'사회적/제도적 맥락 내에서 타자와 관계를 맺고 협력하며 책임을 지는 능력'**으로 확장함.
비교 분석 프레임워크 제공: Figure 1을 통해 현재 Agentic AI의 상태와 AAMAS의 핵심 개념들을 대조하여, 향후 연구가 집중해야 할 기술적 공백(Gap)을 명확히 규명함.

4. 결과 및 논의 (Results & Discussion)

논문은 Agentic AI가 진정한 '에이전트'가 되기 위해서는 다음과 같은 변화가 필요함을 논증합니다.

행동적 자율성 $\rightarrow$ 추론적 자율성: 단순히 확률적으로 다음 행동을 예측하는 것이 아니라, 명시적인 목표와 논리적 근거를 바탕으로 행동해야 함.
개별적 최적화 $\rightarrow$ 관계적 최적화: 단일 에이전트의 성능을 넘어, 다중 에이전트 생태계 내에서의 공존, 조정(Coordination), 공동 규제(Co-regulation) 능력이 핵심임.
기술적 도전 $\rightarrow$ 사회기술적(Socio-technical) 도전: 에이전트 설계는 단순한 알고리즘 문제를 넘어 거버넌스, 신뢰, 책임, 가치 다양성을 포함하는 사회적 설계의 영역임.

5. 의의 (Significance)

본 논문은 Agentic AI 연구가 직면한 '신뢰성 및 통제 불능' 문제를 해결하기 위한 이정표를 제시합니다.

단순히 더 큰 모델이나 더 많은 데이터를 사용하는 방식으로는 에이전트의 사회적 책임과 안전성을 보장할 수 없음을 지적하며, **AAMAS의 구조적 엄밀성(Structural Rigor)**을 결합함으로써 "능력 있고 유연하면서도, 투명하고 협력적이며 책임 있는(Capable, Flexible, Transparent, Cooperative, and Accountable)" 차세대 AI 시스템으로 나아가는 경로를 제안했다는 점에서 학술적·실무적 의의가 매우 큽니다.