Operating-Layer Controls for Onchain Language-Model Agents Under Real Capital

"실제 자본 하의 온체인 언어 모델 에이전트를 위한 운영 계층 제어"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 생생한 금융 시장에서 실제 자본을 관리할 때 자율적 언어 모델 (LM) 에이전트에서 발생하는 치명적인 신뢰성 격차를 다룹니다. 기존 벤치마크 (예: SWE-bench, AgentBench) 는 합성 또는 텍스트 전용 환경에서 에이전트를 평가하지만, 다음과 같은 지속적이고 현실적인 금융 운영의 복잡성을 포착하지 못합니다:

• 되돌릴 수 없는 정산: 거래는 취소할 수 없습니다.
• 실제 경제적 비용: 높은 거래 수수료 (이 연구에서는 스왑당 2.3%) 와 슬리피지.
• 다중 에이전트 피드백: 에이전트들은 동일한 시장 상태와 서로의 거래에 반응합니다.
• 장기 자율성: 에이전트들은 인간의 개입 없이 수일 동안 수천 개의 순차적 결정을 내려야 합니다.

저자들은 이 영역에서의 신뢰성이 단순히 기본 모델의 지능에 달려 있는 것이 아니라, 사용자 의도를 검증되고 실행 가능한 행동으로 변환하는 운영 계층 (operating layer)—모델을 둘러싼 시스템 아키텍처—의 발현적 속성이라고 주장합니다.

2. 방법론: DX Terminal Pro

이 연구는 Base 블록체인에서 3,505 개의 사용자 자금 지원 뱅크를 대상으로 한 21 일간의 라이브 배포인 DX Terminal Pro를 활용했습니다.

• 시스템 아키텍처:
  • 모델: Qwen/Qwen3-235B-A22B-Thinking-2507 (235B 파라미터, 22B 활성).
  • 추론: 일관성을 보장하기 위해 고정된 컴퓨팅 스택에서 SGLang 을 통해 제공됨.
  • 환경: Uniswap V4 상의 12 개 밈코인 토큰으로 구성된 제한된 시장.
  • 제약 조건: 지갑당 하나의 에이전트; 인간은 전략과 리스크 슬라이더를 구성할 수 있었으나 개별 거래를 실행할 수는 없었습니다. 에이전트는 각 사이클마다 Buy, Sell, Observe 중 정확히 하나의 행동을 선택해야 했습니다.
• 제어 루프:
  • 입력: 사용자가 구조화된 슬라이더 (거래 활동, 리스크, 거래 크기 등) 와 자연어 전략 텍스트를 통해 뱅크를 구성했습니다.
  • 처리: "하네스 (harness)"가 실시간 시장 데이터, 포트폴리오 상태, 메모리를 포함하여 이러한 입력을 프롬프트로 컴파일했습니다.
  • 검증: 오프체인 정책 계층이 제출 전에 도구 호출의 유효성 (예: 잔액 확인, 슬리피지 한도, 토큰 허용 목록) 을 확인했습니다.
  • 가시성: 시스템은 모든 호출에 대해 사용자 명령, 프롬프트, 추론, 도구 호출, 온체인 결과를 연결하는 전체 **명령 - 정산 추적 (instruction-to-settlement trace)**을 기록했습니다.
• 규모: 750 만 건의 에이전트 호출, 약 700 억 개의 추론 토큰, 약 2,000 만 달러의 거래량.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 실제 자본 에이전트를 위한 아키텍처: 사용자 구성을 에이전트 컨텍스트로 컴파일하고, 정산 전에 행동을 검증하며, 의도부터 체인 결과까지 세밀한 추적을 유지하는 라이브 시스템 설계.
2. 실패 모드의 식별 및 완화: 지속적이고 실제 자본이 관여된 운영에 고유한 다섯 가지 특정 실패 모드를 식별하고, 표적 "하네스 (시스템 수준)" 개입이 이를 어떻게 감소시켰는지 입증.
3. 운영 계층 우위의 경험적 증거: 신뢰성 향상이 모델 업그레이드가 아닌 시스템 설계 (프롬프트 컴파일, 검증, 메모리 의미론) 에서 비롯된다는 데이터.

4. 주요 결과 및 실패 모드

이 연구는 기본 모델들이 추론 능력 부족이 아닌 프롬프트 해석 오류로 인해 종종 실패한다는 것을 밝혔습니다. 반복적인 출시 전 테스트를 통해 팀은 특정 실패율을 감소시켰습니다:

| 실패 모드 | 설명 | 관측된 변화 (수정 전 $\to$ 수정 후) | 개입 |
| :--- | :--- | :--- | : |
| 규칙 조작 (Rule Fabrication) | 에이전트가 거래를 정당화하기 위해 존재하지 않는 규칙 (예: "계층 규칙 #2") 을 고안함. | 매도 결정의 57% $\to$ 3% | 법조문 같은 어휘 제거; 이전 결정이 선례가 아닌 컨텍스트임을 명확히 함. |
| 수수료 마비 (Fee Paralysis) | 에이전트가 시장 컨텍스트 전에 2.3% 수수료가 제시되어 과도한 신중함으로 거래를 거부함. | 수수료 주도 관찰 32.5% $\to$ <10% | 수수료 컨텍스트를 시장 기회 분석 뒤에 배치; 수수료를 주요 규칙으로 제시하지 않음. |
| 토크노믹스 오독 (Tokenomics Misread) | 에이전트가 "수확 (reap)" 이벤트 (유동성 재분배) 동안 가격 폭락을 보고 배당 메커니즘을 놓쳐 토큰을 매도함. | 자본 투입 42.9% $\to$ 78.0% | 가격 데이터 전에 구조화된 토크노믹스 컨텍스트 (백서 메커니즘) 삽입으로 에이전트가 가격 하락 대비 배당에 대해 추론할 수 있게 함. |
| 숫자 경직화 (Number Hardening) | 부드러운 제약 조건 (예: "거래 크기 5") 이 의도된 행동을 반전시키는 하드 수치 목표로 해석됨. | 단조로운 기울기 복원 | 시장 우위와 연결된 비교 언어로 정확한 숫자 대체. |
| 리듬 거래 (Cadence Trading) | 에이전트가 시장 신호가 아닌 경과 시간 ("마지막 거래가 6 틱 전") 을 기반으로 거래함. | 현저히 감소 | 고정된 리듬 금지; 자기 강화 리듬을 방지하기 위해 메모리 필터링. |

생산 환경 행동 발견:

• 슬라이더 효과성: 구조화된 제어 (슬라이더) 가 자유 형식 채팅보다 사용자 의도를 행동으로 더 신뢰성 있게 매핑했습니다. 예를 들어, "거래 크기" 슬라이더는 지출 비율 (ETH 의 2% 에서 95%) 과 직접적으로 상관관계가 있었습니다.
• 군집 및 연쇄 반응: 에이전트들은 "주의 연쇄 (attention cascades)"를 포함한 투기적 시장 역학을 보였는데, 이는 1,500 개 이상의 에이전트가 1 시간 이내에 동일한 토큰을 매수하고, 에이전트 간 9.5 초 간격으로 매도 연쇄가 발생하는 현상이었습니다.
• 양방향 흐름: 군집화에도 불구하고, 5 분 윈도우의 92.9% 는 모델 다양성이 아닌 다양한 사용자 명령 (슬라이더/전략) 에 의해 매수와 매도가 모두 발생했습니다.
• 결과 상관관계: 구체적인 검증 가능한 지시 (출회 조건, 파라미터) 를 제공한 사용자는 모호한 "성과 초과" 요청을 사용한 사용자보다 4.2 배 더 높은 확률로 수익으로 종료했습니다.

5. 중요성 및 시사점

• 신뢰성은 운영 계층의 속성: 이 논문은 프롬프트 구조, 메모리 의미론, 또는 검증 로직이 결함이 있으면 모델이 지시를 잘 따르더라도 거래가 부실할 수 있음을 입증합니다. "하네스"는 모델의 성공률을 약 87% 에서 **99.9%**까지 향상시킬 수 있습니다 (내부 EVM 스왑 평가에서 확인됨).
• 추적 수준 가시성의 중요성: 특정 정책, 메모리, 또는 사용자 명령의 줄로 거슬러 올라가 행동을 추적할 수 있는 능력은 디버깅에 필수적입니다. 이는 "모델 혼란"과 "사용자 명령 오류"를 분리할 수 있게 합니다.
• 텍스트 벤치마크를 넘어선 것: 표준 텍스트 기반 벤치마크는 금융적 압력과 반복 실행 하에서만 나타나는 "수수료 마비"나 "조작된 규칙"과 같은 현상을 포착하지 못합니다.
• 미래 학습 데이터: 명령 - 정산 추적은 강화 학습 (RL), 합성 시나리오 생성, 그리고 다양한 아키텍처 간의 모델 동질성 평가에 풍부한 데이터셋을 제공합니다.

결론:
이 연구는 자본 관리 에이전트의 경우 "운영 계층"(프롬프트 컴파일, 타입화된 제어, 정책 검증, 가시성) 이 신뢰성의 주요 결정 요인임을 결론지었습니다. 금융 AI 의 미래 진전은 기본 모델의 확장보다는 자본이 투입되기 전에 실패를 감지하고 수정할 수 있는 견고하고 계측된 시스템을 엔지니어링하는 데 더 달려 있습니다.