💻 computer science

Lark: Biologically Inspired Neuroevolution for Multi-Stakeholder LLM Agents

Lark는 가소성, 복제/성숙, 순위 선택 집계, 그리고 연산량 인지 페널티를 통합함으로써, 간결하고 고성능의 전략을 효율적으로 생성하는 동시에 트레이드오프를 투명하게 관리하며 다중 이해관계자 LLM 에이전트를 강화하는 생물학적 영감을 받은 신경 진화 프레임워크이다.

원저자: Rikhil Tanugula, Dheeraj Chintapalli, Sunkalp Chandra

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rikhil Tanugula, Dheeraj Chintapalli, Sunkalp Chandra

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 확장되는 세상에서, 단순히 기계를 더 똑똑하게 만드는 것을 넘어선 새로운 과제가 등장했습니다. 그것은 바로 서로 다른 의견과 목표를 가진 인간 팀이 복잡한 문제를 해결하려 노력하는 것처럼, 기계들이 그룹 내에서 협력하도록 가르치는 일입니다. 멀티 에이전트 시스템(multi-agent systems)이라고 알려진 이 분야는 자율 주행 차량의 조율부터 의료 전략 수립에 이르기까지 다양한 작업에 필수적입니다. 그러나 이러한 디지털 에이전트들이 현대 챗봇의 기반이 되는 기술인 대규모 언어 모델(LLM)로 구동될 때, 종종 두 가지 주요 문제로 어려움을 겪습니다. 첫째, 이들은 지나치게 말이 많아져서, 컴퓨팅 자원과 비용을 낭비하는 길고 반복적인 설명을 생성하는 경향이 있습니다. 둘째, 이들은 이익을 원하는 사업가와 안전을 원하는 공동체 그룹처럼 의사 결정에 참여하는 다양한 이해관계자들의 요구를 균형 있게 맞추는 데 자주 실패합니다. 이러한 시스템을 훈련하는 전통적인 방법들은 학생이 수학 문제를 하나씩 풀며 배우는 것과 유사하게 단계별 학습에 의존하는 경우가 많습니다. 하지만 복잡하고 창의적인 전략 기획을 위해서는 이러한 접근 방식이 비효율적이고 경직될 수 있습니다.

이러한 장애물을 해결하기 위해, 연구진은 생명체가 진화하는 방식에서 힌트를 얻은 '라크(Lark)'라는 새로운 프레임워크를 개발했습니다. 라크는 디지털 에이전트들에게 엄격한 순차적 단계를 통해 학습하도록 강요하는 대신, 전략의 생성을 하나의 생물학적 집단처럼 취급합니다. 여러 디지털 에이전트가 문제에 대해 각기 다른 해결책을 제안하는 상황을 상상해 보십시오. 각 라운드에서 시스템은 제안된 아이디어들을 단순히 작동 여부뿐만 아니라, 얼마나 다양한 이해관계자들을 만족시키는지를 기준으로 평가합니다. 그 후 시스템은 가장 좋은 아이디어를 선택하고, 이를 바탕으로 작고 정밀한 개선을 가하며, 때로는 가장 강력한 아이디어를 복제하여 특화된 새로운 버전들을 만들어냅니다. 이 과정은 여러 세대에 걸쳐 반복되며, 시스템은 매 사이클마다 갈등하는 요구사항들을 조율하는 능력과 불필요한 말을 걷어내는 능력을 향상시킵니다. 그 결과, 이 방식은 복잡한 추론에 수반되는 막대한 컴퓨팅 비용 없이도 고품질의 간결한 전략을 만들어냅니다.

연구진은 정책 제안, 제품 로드맵, 임상 의사 결정에 이르는 30가지의 서로 다른 시뮬레이션 시나리오를 통해 이 접근 방식을 테스트했습니다. 각 시나리오에서 그들은 라크와 14개의 다른 경쟁 시스템에게 이해관계자 간의 이해관계가 충돌하는 문제에 대한 해결책을 생성하도록 요청했습니다. 공정성을 보장하기 위해, 그들은 독립적인 심사 시스템을 사용하여 다섯 가지 기준(해결책의 완전성, 현실성, 구체성, 규칙 준수 여부, 명확성)에 따라 답변을 채점했습니다. 결과는 라크의 전체 버전이 다른 시스템들을 지속적으로 능가했다는 것을 보여주었습니다. 평균적으로 라크는 14개 시스템 중 두 번째로 우수한 성적을 거두었으며, 50점 만점에 30점에 가까운 높은 점수를 기록했습니다. 또한 80%의 라운드에서 상위 3위 안에 들었습니다. 다른 강력한 시스템들도 근접한 성과를 냈지만, 라크는 선도적인 상용 모델들과 거의 비슷한 수준인 작업당 약 16센트의 비용을 유지하면서도 이러한 높은 수준의 성능을 유지할 수 있었습니다.

라크가 이토록 잘 작동하는 이유는 생물학에서 영감을 받은 네 가지 특정 메커니즘의 조합 덕분입니다. 첫 번째는 '가소성(plasticity)'이라 불리는 과정으로, 이는 시스템이 처음부터 다시 시작하지 않고도 전략에 대해 빠르고 맥락에 맞는 조정을 할 수 있게 해줍니다. 만약 어떤 해결책이 대체로 좋지만 작은 결함이 있다면, 시스템은 그 특정 문제를 해결하기 위해 이를 미세하게 조정합니다. 두 번째 메커니즘은 '복제 및 성숙(duplication and maturation)'입니다. 어떤 전략이 좋은 성과를 내면, 시스템은 이를 복제한 뒤 특정 집단이나 특정 목표에 집중하도록 특화시킵니다. 이는 마치 자연계에서 유전자가 복제된 후 약간 다른 기능을 수행하도록 진화하는 것과 같습니다. 세 번째 메커니즘은 다양한 이해관계자의 선호도를 결합하는 투표 시스템을 포함합니다. 단순히 의견을 평균 내는 대신, 시스템은 각 개인이 결과에 얼마나 신경을 쓰는지에 따라 가중치를 두는 방식을 사용하여, 최종 결정이 가장 중요한 우려 사항들을 존중하도록 합니다. 마지막 메커니즘은 지나치게 말이 많은 것에 대한 페널티입니다. 시스템은 간결함을 보상하도록 설계되어, 불필요하게 많은 단어를 사용하는 해결책의 점수를 자동으로 낮춤으로써 컴퓨팅 비용을 낮게 유지하고 추론을 날카롭게 유지합니다.

연구진이 이 네 가지 메커니즘 중 하나라도 제거했을 때의 중요성을 확인하기 위해 실험을 진행했을 때, 시스템의 성능은 눈에 띄게 떨어졌습니다. 가장 큰 손실은 복제 및 특화 과정을 중단했을 때 발생했으며, 이로 인해 해결책의 품질이 눈에 띄는 차이로 하락했습니다. 빠른 미세 조정을 할 수 있는 능력을 제거했을 때도 성능이 저하되었으며, 투표 시스템과 단어 수 페널티를 제거했을 때도 그 뒤를 이었습니다. 이는 네 가지 요소 모두가 시스템이 효과적으로 작동하는 데 필수적임을 시사합니다. 이 연구는 인공지능이 이러한 자연적 진화 과정을 모방함으로써, 인간 의사 결정의 복잡하고 상충하는 현실을 다루는 데 훨씬 더 능숙해질 수 있음을 보여줍니다. 연구진은 이러한 결과가 유망하긴 하지만, 통제된 시뮬레이션에 기반하고 있다는 점을 강조합니다. 그들은 실제 정책 수립이나 병원 계획과 같은 실제 환경에서도 시스템이 예측 불가능한 현실을 다룰 수 있는지 테스트할 계획입니다. 현재로서는 이 연구가 생물학적 영감을 받은 접근 방식이 인공 에이전트를 더 효율적이고, 공정하며, 다양한 집단 사이에서 공통 분모를 찾아내는 능력을 갖추게 할 수 있다는 개념 증명을 제공하고 있습니다.

기술 요약: Lark – 다중 이해관계자 LLM 에이전트를 위한 생물학적 영감을 받은 신경진화(Neuroevolution)

1. 문제 정의

대규모 언어 모델(LLM)을 활용하는 전통적인 다중 에이전트 시스템(MAS)은 복잡한 의사결정 영역에서 세 가지 결정적인 한계에 직면해 있습니다:

장황함 및 비용: LLM 기반 에이전트는 종종 중복된 출력을 생성하여 높은 계산 비용을 초래합니다.
제한된 탐색: 현재의 시스템은 다양한 대안 전략과 잠재적인 미래 상태를 효과적으로 탐색하는 데 어려움을 겪습니다.
다중 이해관계자 불일치: 기존 프레임워크는 제약 최적화(constrained optimization)나 즉각적인 보상 신호가 필요한 마르코프 결정 과정(MDP)에 의존하지 않고도, 여러 개의 상충하는 이해관계자 목표를 처리할 수 있는 강력한 메커니즘이 부족합니다.

저자들은 다중 이해관계자 전략 생성은 순차적인 상태-행동 전이보다는 이산적인 인구 기반 탐색(population-based search)에 더 적합하다고 주장합니다. 이는 전략이 점진적으로 평가되는 것이 아니라 완료 시점에 총체적으로 평가되기 때문입니다.

2. 방법론: Lark 프레임워크

Lark는 LLM 기반의 추론과 이산 생성 진화 탐색을 결합한 생물학적 영감을 받은 신경진화 프레임워크입니다. MDP 정식화가 필요한 강화 학습(RL) 접근 방식과 달리, Lark는 후보 전략의 인구(populations)를 대상으로 작동하며, 선택, 돌연변이, 전문화를 통해 이를 진화시킵니다. 이 프레임워크는 네 가지 핵심 메커니즘을 통합합니다:

2.1 가소성 (Plasticity, 문맥 민감형 정교화)

헵 학습(Hebbian learning)과 신경 조절(neuromodulation)에서 영감을 얻은 이 메커니즘은 에이전트가 단일 세대 내에서 후보 전략을 간결하고 문맥에 맞게 조정할 수 있도록 합니다.

구현: LLM 기반 정교화 연산자( $\Phi$ )는 후보 전략과 시나리오 문맥을 입력받아 개선된 변형본을 생성합니다.
과정: LLM은 문맥 특유의 약점을 식서하고, 타겟팅된 수정을 제안하며, 다양성을 유지하기 위해 핵심 구조를 보존하면서 구현 세부 사항을 정교화합니다.
제어: 탐색과 활용의 균형을 맞추기 위해 감쇠하는 온도 파라미터에 의해 제어되는 확률( $p_{plast}$ )로 적용됩니다.

2.2 복제 및 성숙 (Duplication and Maturation, 모듈형 전문화)

유전자 복제 및 하위 기능화(subfunctionalization)라는 진화 생물학적 동기에서 유래한 이 메커니즘은 고성능 전략을 복제하고 전문화함으로써 기능적 다양성을 촉진합니다.

복제: 고성능 전략은 적합도 비례 선택(집계된 이해관계자 점수의 로지스틱 함수 사용)에 따라 복제 대상으로 선정됩니다.
성숙: 복제된 전략은 LLM이 다음을 수행하도록 유도되는 확률적 전문화 과정을 거칩니다:
- 특정 이해관계자 하위 그룹 또는 목표 차원을 식별합니다.
- 해당 하위 그룹에 특화되도록 전략을 수정합니다.
- 부모 전략에는 없던 새로운 구현 세부 사항을 도입합니다.
목표: 무작위 돌연변이가 아닌 LLM의 의미론적 이해를 활용하여, 복제된 유전자가 별개이면서도 연관된 기능으로 분화되는 과정을 모델링하는 것입니다.

2.3 이해관계자 순위 결정 투표 (Stakeholder Ranked-Choice Voting)

이질적인 선호도를 집계하기 위해, Lark는 영향력 가중치가 적용된 보르다 카운트(Borda count)를 사용합니다. 이는 카디널 효용(cardinal utility)을 가정하거나 개인 간 비교를 요구하지 않습니다.

메커니즘: 각 이해관계자는 후보 전략에 대해 서열 순위를 제공합니다.
점수 계산: 합의 점수 $B(x_i)$ 는 영향력 가중치에 역순위 위치를 곱한 값의 합으로 계산됩니다.
강건성: 이 방법은 전략적 조작에 강하며, 이해관계자가 카디널 효용을 밝힐 필요가 없습니다. 합의의 강도를 정량화하기 위해 변동 계수(CV)가 계산됩니다.

2.4 컴퓨팅 효율성 페널티 (Compute-Efficiency Penalties)

자원 인식을 강제하고 간결함을 보상하기 위해, 토큰 기반 페널티가 적합도 평가에 적용됩니다.

공식: 조정된 적합도 $R(x_i)$ 는 토큰 수 $T(x_i)$ 가 목표 예산 $T_{target}$ 을 초과할 경우 보르다 점수를 감소시킵니다.
지표: 시스템은 개선 사항을 모니터링하기 위해 평균 품질 대비 토큰 비율인 실행 효율성 지표 $E(t)$ 를 추적합니다.

2.5 진화 루프 (The Evolutionary Loop)

시스템은 다음과 같이 세대를 반복합니다:

초기화: LLM을 통해 전략의 인구를 샘플링합니다.
가소성: 확률 $p_{plast}$ 에 따라 전략을 정교화합니다.
평가: 이해관계자들이 모든 전략의 순위를 매깁니다.
점수 계산: 보르다 점수가 계산되고 토큰 페널티에 따라 조정됩니다.
선택 및 번식: 적합도에 따라 복제를 위해 전략이 선택되며, 복제본은 성숙 과정을 거칩니다.
다음 세대: 결합된 풀(원본 + 복제본)에서 상위- $k$ 개의 전략이 다음 세대를 구성합니다.

3. 주요 기여

새로운 프레임워크: 가소성, 복제/성숙, 순위 결정 투표, 컴퓨팅 인식 페널티를 단일 신경진화 루프 내에서 결합한 LLM 기반 MAS인 Lark를 소개했습니다. 저자들은 이러한 조합이 이 특정 맥락에서 이전에 달성된 바 없다고 언급했습니다.
패러다임 전환: MDP 기반의 제약 최적화에서 전략을 총체적으로 평가하는 이산적이고 컴퓨팅 인식을 갖춘 진화 탐색으로의 전환을 제시합니다.
메커니즘 통합: 생물학적 원리(시냅스 적응, 유전자 복제)가 어떻게 LLM 에이전트 행동으로 효과적으로 번역되어 다중 이해관계자 정렬을 이끌어낼 수 있는지 입증했습니다.
투명성: 프레임워크는 단계별 효율성 지표와 최종 분석을 통해 트레이드오프를 투명하게 공개하며, 일부 강화 학습(RL) 접근 방식의 "블랙박스" 특성을 피합니다.

4. 실험 결과

저자들은 13개의 다른 시스템(GPT-4o, GPT-o3, Qwen3-Next-80B와 같은 독점 모델 포함) 및 4개의 절제 연구(ablation) 변형과 비교하여 30회의 합성 라운드에 걸쳐 통제된 평가를 수행했습니다.

4.1 성능 지표

Lark Full은 평균 순위 2.55 (95% CI [2.17, 2.93])와 평균 종합 점수 29.4/50 (95% CI [26.34, 32.46])을 달성했습니다.
이 모델은 80%의 라운드에서 Top-3 안에 들었습니다.
비용 효율성: Lark Full은 선도적인 상용 모델들과 경쟁 가능한 수준의 비용을 보여주었으며, 평균 **태스크당 $0.016**을 기록하여 GPT-o3($ 0.0164)와 대등한 수준을 보였습니다.

4.2 절제 연구 (Ablation Studies)

쌍체 윌콕슨 부호 순위 검정(Paired Wilcoxon signed-rank tests)을 통해 모든 네 가지 메커니즘이 유의미하게 기여함을 확인했습니다. 메커니즘 제거 시 발생한 성능 저하는 다음과 같습니다:

복제/성숙 (Duplication/Maturation): 가장 큰 저하 ( $\Delta$ Score = 3.5, $d_z$ = 2.53, $p < 0.001$ ).
가소성 (Plasticity): 유의미한 저하 ( $\Delta$ Score = 3.4, $d_z$ = 1.86).
순위 결정 투표 (Ranked-Choice Voting): 유의미한 저하 ( $\Delta$ Score = 2.4, $d_z$ = 1.20).
토큰 페널티 (Token Penalties): 유의미한 저하 ( $\Delta$ Score = 2.2, $d_z$ = 1.63).

4.3 베이스라인 비교

Lark Full은 GPT-4.1 및 GPT-4o에 비해 통계적으로 유의미한 개선(큰 효과 크기)을 보였습니다.
GPT-o3 및 Qwen3-Next-80B와는 통계적으로 대등한(parity) 성능을 보였으나, Lark Full이 평균 순위에서 약간의 우위를 유지했습니다.

5. 의의 및 주장

본 논문은 Lark를 최종 생산 시스템이라기보다 **개념 증명(proof-of-concept)**으로 규정합니다. 주요 의의는 다음과 같습니다:

타당성 입증: 생물학적 영감을 받은 신경진화가 LLM 에이전트에서 이해관계자 정렬된 전략 생성을 효과적으로 확장할 수 있음을 보여주었습니다.
실용성: 형식적인 제약 최적화에 대한 컴퓨팅 인식적 대안으로서 투명하고 적응 가능한 모델을 제공합니다.
커뮤니티 초대: 저자들은 명시적으로 커뮤니티의 피드백을 요청하며, 정책, 의료 및 조직 설정에서의 실세계 검증을 향한 확장을 계획하고 있습니다.

저자들은 합성 벤치마크 사용, 더 넓은 모델 범위의 필요성, 현재 연구에서의 직접적인 실제 시간(wall-clock time) 또는 에너지 측정 부재와 같은 한계를 인정하며 겸손한 태도를 유지합니다. 그들은 결과가 유망하지만, 실제 세계의 생태적 타당성은 아직 확립되어야 한다고 강조합니다.