🤖 machine learning

TRAM: Test-Time Risk Adaptation with Mixture of Agents

본 논문은 목표 보상과 점유 기반 위험 제약 조건에 따라 위험 중립 정책의 고정된 라이브러리를 점수 매기고 혼합하여 위험 인식 에이전트를 동적으로 구성함으로써 모델 재학습 없이 안전성과 정렬을 보장하는 제로 업데이트 테스트 시간 적응 방법인 TRAM 을 제안합니다.

원저자: Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

전문가 드라이버 팀을 구축했다고 상상해 보세요. 훈련 기간 동안 다양한 목적지로 효율적으로 주행하는 법을 가르쳤습니다. 특별히 "신중하게" 또는 "무모하게" 운전하라고 가르친 것이 아니라, 단순히 잘 운전하는 법만 가르쳤을 뿐입니다. 이들이 바로 당신의 **소스 정책 (Source Policies)**입니다.

이제 이 드라이버들을 새로운 도시로 배치한다고 상상해 보세요. 갑자기 규칙이 바뀝니다:

아마도 피해야 할 새로운 공사 구역 (위험)이 생겼을지도 모릅니다.
시의회가 "학교 근처에서는 시속 20 마일을 넘지 마라"고 말할지도 모릅니다 (위험 임계값).
새로운 상사가 "저기 있는 안전하고 지루한 차처럼 정확히 운전하라"고 말할지도 모릅니다 (행동 참조).

보통 규칙이 바뀌면 모든 드라이버를 운전 학교로 돌려보내 모든 것을 다시 배워야 합니다. 이는 시간, 비용, 그리고 컴퓨팅 파워를 요구합니다.

TRAM(Test-time Risk Adaptation via Mixture of Agents)은 아무도 학교로 돌려보내지 않고 이를 처리하는 새로운 방법입니다.

핵심 아이디어: "스마트 디스패처"

드라이버들을 다시 훈련시키는 대신, TRAM은 배치 순간에 초지능 디스패처처럼 작동합니다.

라이브러리: 원래 드라이버들 (소스 정책) 을 그대로 유지합니다. 이들은 "위험 중립적"입니다. 즉, 운전하는 법은 알지만 지나치게 신중하거나 공격적으로 만들지 않았다는 뜻입니다. 이로 인해 그들의 기술은 다양하고 유용하게 유지됩니다.
새로운 규칙집: 새로운 도시에 도착하면 새로운 안전 규칙 (즉, "위험") 을 정의합니다.
점수판: 매 교차로 (모든 의사결정 지점) 에서 디스패처는 이용 가능한 모든 드라이버를 살펴봅니다. 다음과 같이 묻습니다:
- "드라이버 A 는 목표까지 얼마나 빠르게 도달할 수 있는가?"
- "드라이버 A 는 새로운 공사 구역과 관련하여 얼마나 많은 위험을 감수하는가?"
- "드라이버 B 는 얼마나 많은 위험을 감수하는가?"
스티치된 경로: 디스패처는 그 특정 순간에 가장 적합한 드라이버를 선택합니다.
- 도로가 비어 있으면 가장 빠른 드라이버를 선택할 수 있습니다.
- 위험이 나타나면 즉시 그 특정 위험을 안전하게 극복하는 방법을 아는 드라이버로 즉시 전환합니다.
- 도로가 다시 안전해지면 빠른 드라이버로 다시 전환합니다.

그 결과 **스티치된 정책 (stitched policy)**이 나옵니다. 이는 실시간으로 서로 다른 전문가 드라이버들을 전환하며 이루어진 단일 여정으로, 효율적이고 안전한 경로를 만들어내며 드라이버의 뇌 (코드) 에서 단 한 줄의 코드도 변경하지 않습니다.

왜 처음부터 안전을 위해 훈련하지 않는가?

이 논문은 드라이버를 너무 일찍 "안전하게" 훈련시키는 것은 나쁜 아이디어라고 주장합니다.

"과도한 신중함" 문제: 드라이버를 *변동성 (불확실성)*을 피하도록 훈련시키면, 도로의 작은 요철조차 두려워해 차고에서 절대 나오지 않게 될 수 있습니다. 일을 처리하기 위해 필요한 위험을 감수할 능력을 상실하게 됩니다.
"잘못된 안전" 문제: "변동성"을 피하도록 훈련된 드라이버는 특정 적색 구역 (red zone) 을 통과하는 것이 위험하다는 것을 이해하지 못할 수 있습니다. 그들은 "나는 매우 부드럽게 운전하고 있으니 안전하다"고 생각할지 모릅니다. 심지어 벽으로 직진하고 있더라도요.

TRAM 은 훈련 기간 동안 드라이버들을 다양하고 유연하게 유지하고, 실제 미션이 시작될 때만 구체적인 "안전 필터"를 적용함으로써 이를 해결합니다.

작동 방식 (비유)

드라이버들을 오케스트라의 서로 다른 악기라고 생각하세요.

훈련: 바이올린, 드럼, 플루트에게 음을 완벽하게 연주하는 법을 가르칩니다. 아직 "슬프게" 또는 "크게" 연주하라고 말하지는 않습니다.
배치: 콘서트 홀에 들어가 "오늘은 슬프고 조용한 곡이 필요하다"고 말합니다.
TRAM 의 역할: 악기를 다시 가르치는 대신, 지휘자 (TRAM) 는 즉시 결정합니다: "플루트는 선율을 연주하되, 드럼은 매우 부드럽게 연주하고, 바이올린은 낮은 음을 유지하라."
결과: 음악가들이 악기를 다시 배울 필요 없이 음악이 즉시 분위기에 맞게 바뀝니다.

논문이 실제로 증명한 것

저자들은 여러 가지 방법으로 이 아이디어를 테스트했습니다:

그리드월드 (Gridworlds): 에이전트 훈련 후 새로운 "위험 구역"을 추가한 간단한 미로 게임입니다. TRAM 은 다른 방법들이 실패하는 동안 위험 구역에 성공적으로 피했습니다.
로보틱스 (Reacher 및 Safety-Gymnasium): 로봇 팔 제어입니다. 화면에 새로운 "출입 금지" 원이 나타났을 때, TRAM 은 로봇의 움직임을 조정하여 이를 피하도록 했으며, 다른 방법들은 충돌하거나 너무 느렸습니다.
LLM(대형 언어 모델): AI 채팅 봇을 조정하는 데 사용했습니다. 채팅 봇이 "위험한" 답변을 생성하거나 안전 지침과 일치하지 않을 때, TRAM 은 거대한 AI 모델을 재훈련시키지 않고도 더 안전한 생성 전략으로 전환할 수 있었습니다.

단점 (한계)

논문은 TRAM 이 아닌 것에 대해 솔직합니다:

모든 가능한 안전 문제를 완벽하게 해결하는 마법의 지팡이가 아닙니다.
좋은 "라이브러리" (소스 정책) 를 가지고 있어야 합니다. 모든 드라이버가 나쁘다면 디스패처가 그들을 좋게 만들 수는 없습니다.
이는 "대리 (surrogate)" 방법입니다. 기존 행동을 연결하는 매우 좋은 근사치이지만, 모든 가능한 미래 시나리오에 대해 완벽한 해법을 수학적으로 보장하지는 않습니다. 다만, 이상적인 해법에 얼마나 가까운지 측정할 수 있는 방법을 제공합니다.

요약

TRAM은 사전 훈련된 유연한 AI 에이전트 라이브러리를 가져와 사용 순간에 새로운 안전 규칙에 즉시 적응하게 하는 방법입니다. 에이전트를 학교로 돌려보내 모든 것을 다시 배우게 강요하는 대신, 현재 상황에 가장 적합한 기존 행동을 선택하는 스마트한 스위치보드로 작동함으로써 이를 달성합니다. 이는 처음부터 재훈련하는 것이 아니라 실시간으로 적응하는 것에 관한 것입니다.

기술 요약: TRAM (혼합 에이전트를 통한 테스트 시간 위험 적응)

1. 문제 정의

본 논문은 강화학습 (RL) 배포에서 발생하는 중요한 격차를 다룹니다: 안전 사양이 종종 훈련 이후에 변경됩니다. 에이전트는 일련의 소스 작업으로 훈련될 수 있지만, 새로운 위험 지도, 수정된 위험 임계값, 또는 다른 행동 정렬 제약 (예: 새로운 기준 행동) 을 가진 환경에 배포될 수 있습니다.

기존의 위험 민감형 RL 방법은 일반적으로 훈련 단계 동안 위험 모델 (예: 분산, CVaR, 또는 특정 제약) 을 고정합니다. 이 접근 방식은 다음과 같은 이유로 취약합니다:

과도한 특화: 특정 위험 대리 변수 (예: 반환 분산) 로 훈련하면 소스 정책의 다양성이 붕괴되어, 다른 미래 위험 사양 하에서는 안전할 수 있는 행동들이 제거됩니다.
부족한 위험 표현: 분산 기반 위험은 장벽과의 근접성과 같은 공간적 위험, 기준 행동으로부터의 행동 이탈, 또는 국소적 변동성을 포착하지 못합니다. 특히 궤적 반환 분산이 0 인 결정론적 환경에서 그렇습니다.
재훈련 비용: 새로운 위험 사양에 적응하려면 일반적으로 재훈련이나 미세 조정이 필요하며, 이는 계산 비용이 많이 들고 모델이 배포된 후에는 종종 불가능합니다.

본 논문은 문제를 제로 업데이트 배포 시간 적응으로 공식화합니다. 목표는 소스 매개변수를 수정하지 않고 테스트 시간에 새로 지정된 위험 함수 $\rho(\pi)$ 를 만족시키기 위해 고정된 위험 중립 소스 정책 라이브러리 $\{\pi_j\}$ 를 재사용하는 것입니다. 목표는 위험 제약 $\rho(\pi) \le \delta$ 를 준수하면서 기대 반환 $J(\pi)$ 를 최대화하는 것으로, 페널티가 부과된 대리 모델을 통해 근사화됩니다:
$\max_{\pi} \tilde{J}_c(\pi) = J(\pi) - c \rho(\pi)$

2. 방법론: TRAM

제안된 방법인 TRAM은 소스 훈련과 위험 사양을 분리합니다. 두 단계로 작동합니다:

1 단계: 위험 중립 소스 훈련
소스 정책은 표준 위험 중립 목적 함수를 사용하여 관련 소스 작업에서 훈련됩니다. 이는 다양한 "행동 껍질 (behavioral hull)"을 보존하여, 나중에 재결합될 수 있는 광범위한 점유 분포 (상태 - 행동 방문 패턴) 를 라이브러리에 포함하도록 보장합니다.

2 단계: 테스트 시간 소스 점수 매기기 및 구성
배포 시, TRAM 은 재훈련하지 않습니다. 대신 소스 점수 기반 구성 규칙에 따라 소스 라이브러리에서 행동을 선택하여 배포된 정책 $\pi_T$ 를 구성합니다.

위험 평가: 각 소스 정책 $\pi_j$ $π_{j}$ 에 대해 TRAM 은 캐시된 전역 점유 기반 위험 점수 $\rho(d_{\pi_j})$ $ρ (d_{π_{j}})$ 를 계산합니다. 이는 다음과 같이 할인된 상태 - 행동 점유 $d_\pi$ $d_{π}$ 위에 정의된 유연한 위험 함수를 가능하게 합니다:
- 장벽 노출: 위험 영역 근처에서 보낸 시간.
- 행동 발산: 안전한 기준 행동으로부터의 KL-발산.
- 국소 변동성: 점유율의 단계별 변동.
가치 추정: 각 소스에 대한 목표 작업 가치 $Q^{\pi_j}_T(s, a)$ 는 현재 상태 $s$ 에서 추정됩니다. 이는 Successor Features(SF) 를 사용하여 점곱 $Q^{\pi_j}_T(s, a) = \psi_{\pi_j}(s, a)^\top w_T$ 로 효율적으로 수행하거나, 롤아웃/비평가 (critics) 를 통해 수행할 수 있습니다.
행동 선택: 배포된 행동은 위험 조정된 소스 점수를 최대화하여 선택됩니다:
$S_j(s, a) = Q^{\pi_j}_T(s, a) - c \rho(d_{\pi_j})$
$\pi_T(a|s) \in \arg\max_{b \in A} \max_{j \in [n]} S_j(s, b)$
활성 소스는 궤적을 따라 변경될 수 있으며, 현재 상태와 특정 위험 사양에 반응하는 "국소적으로 연결된 (locally stitched)" 정책을 생성합니다.

이론적 보장:
본 논문은 TRAM 을 명시적으로 처리 가능한 소스 점수 기반 대리 모델로 규정하며, 연결된 정책의 전체 점유 제어 문제의 정확한 최적화기는 아닙니다.

국소화된 경계: 이론적 분석 (정리 4.1) 은 TRAM 정책이 최적 위험 중립 정책 대비 갖는 비최적성에 대한 경계를 제공합니다. 이 경계는 목표와 가장 잘 맞는 소스 간의 국소화된 보상 불일치와, 위험 패널티 가중치 $c$ 및 위험 함수의 리프시츠 상수에 비례하는 항에 의존합니다.
소스 껍질 불일치: 본 논문은 연결된 정책의 실현 점유율이 소스 점유율의 볼록 껍질과 다를 수 있음을 인정합니다. 부록 C 는 캐시된 소스 위험과 배포된 정책의 실현 위험 사이의 간극을 연결하는 측정 가능한 "연결 불일치"항 ( $\epsilon_{stitch}$ ) 을 소개합니다.

3. 주요 기여

제로 업데이트 적응의 공식화: 매개변수 업데이트 없이 새로 지정된 점유 기반 위험에 고정된 소스 정책을 적응시키는 설정을 공식화했습니다.
TRAM 알고리즘: 분산과 같은 고정 대리 모델에 묶인 방법과 대조적으로, 테스트 시간에 다양한 위험 유형 (장벽, 발산, 변동성) 을 지원하는 소스 점수 기반 구성 규칙을 도입했습니다.
이론적 기반:
- 위험 중립 소스 훈련이 최악의 경우 배포 위험 후회 (regret) 를 최소화하여 가장 넓은 재사용 가능한 점유 껍질을 보존함을 증명 (정리 4.3).
- 보상 전달 품질과 배포 위험 패널티를 분리하는 국소화된 전달 보장.
- 캐시된 소스 위험과 실현된 정책 위험 간의 "연결 불일치"에 대한 분석.
실증적 검증: 네 가지 서로 다른 도메인에서의 입증:
- 그리드월드: 분산 기반 방법이 실패하는 공간적 위험 및 단계별 변동성과 같은 표현력 있는 위험 모델링을 검증.
- MuJoCo Reacher: 목표 성능을 유지하면서 연속 제어에서 장벽 위반을 감소.
- Safety-Gymnasium: 고정된 안전 대리 모델 및 분산 기반 베이스라인에 비해 낮은 장벽 충돌 확률 달성.
- LLM 정렬: 미세 조정 없이 고정된 7B 언어 모델을 새로운 행동 위험 제약 (안전한 기준에 대한 KL) 에 적응시켜, 순수 보상 최대화보다 향상된 정렬을 보여줌.

4. 결과

실험 결과에 따르면 TRAM 은 재훈련 없이 일관되게 배포 안전성 (위험 노출 또는 장벽 충돌 감소) 을 향상시키면서 보상 성능을 유지합니다.

그리드월드에서 TRAM 은 공간적 위험을 성공적으로 피하고 변화하는 위험 조건에 적응하는 반면, 위험 인식 베이스라인 (RaSF 등) 은 균일하게 보수적이거나 공간적 위험을 감지하지 못합니다.
Reacher에서 TRAM 은 훈련 후 새로운 장벽이 도입되었을 때 실패율을 85% 에서 26% 로 줄였으며, 목표까지의 거리에 미치는 영향은 미미했습니다.
Safety-Gymnasium에서 TRAM 은 가장 낮은 장벽 충돌 확률 (베이스라인 0.502 대비 0.209) 과 경쟁력 있는 정규화된 CVaR 을 달성했습니다.
LLM 정렬에서 TRAM 은 위험 없는 전달 정책에 비해 GPT-4 쌍별 비교에서 선호되는 응답을 생성하여, 고차원 텍스트 공간에서 보상 모델의 과도한 최적화를 방지할 수 있음을 입증했습니다.

5. 중요성 및 주장

본 논문은 TRAM 이 RL 시스템에 대한 모듈형 배포 계층을 제공한다고 주장합니다. 그 주요 중요성은 위험 결정을 훈련 단계에서 배포 단계로 이동시키는 데 있습니다.

모듈성: 운영자가 소스 행동이 이미 학습된 후에도 안전 요구사항 (위험 지도, 행동 참조) 을 지정할 수 있게 합니다.
효율성: 테스트 시간에 재훈련이나 새로운 제약 MDP 해결의 계산 비용을 피하고, 대신 빠른 소스 점수 매기기에 의존합니다.
범위에 대한 정직함: 저자들은 TRAM 이 대리 방법임을 명시적으로 밝히며 겸손하게 주장합니다. 이는 연결된 정책의 전체 점유 제어 문제를 정확하게 해결한다고 주장하지 않습니다. 대신, 소스 껍질 대리 모델과 실현된 위험 간의 불일치에 대한 측정 가능한 경계를 제공하여, 위험 사양이 동적이고 재훈련이 금지된 시나리오에 대한 실용적인 휴리스틱으로 만듭니다.

이 연구는 로봇 공학, 내비게이션, LLM 등 많은 배포 시나리오에서 다양한 위험 중립 행동 라이브러리를 유지하고 테스트 시간 점수 매기기를 통해 이를 구성하는 것이, 모든 잠재적 미래 제약에 대해 특화된 위험 인식 정책을 훈련하는 것보다 더 견고한 전략임을 시사합니다.