⚡ electrical engineering

Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

이 논문은 제어 불완전성으로 인한 Nash 균형 전략의 실행 오차가 2 인 선형 2 차 (LQ) 게임에 미치는 영향을 분석하고, 측정 가능한 편차 역학을 nominal 게임에 추가하여 보상 법칙을 구성함으로써 다른 플레이어의 비용을 최소화하는 최적의 수정된 피드백 전략을 제안합니다.

원저자: Mahdis Rabbani, Navid Mojahed, Shima Nazari

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahdis Rabbani, Navid Mojahed, Shima Nazari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎮 제목: "상대의 실수를 어떻게 극복할까? ( imperfect 한 게임에서의 최적 전략)"

1. 배경: 완벽한 게임은 현실에 존재하지 않나요?

이 논문은 두 사람이 함께 게임을 하는 상황을 가정합니다. 여기서 '게임'은 두 대의 로봇이 서로 협력하거나 경쟁하며 목표를 달성하는 상황을 말합니다.

이상적인 상황 (내쉬 균형): 두 로봇이 서로의 행동을 완벽하게 예측하고, 계산된 대로 움직인다면 가장 효율적인 결과를 얻을 수 있습니다. 이를 수학적으로 **'내쉬 균형 (Nash Equilibrium)'**이라고 부릅니다. 마치 두 명의 프로 축구 선수가 서로의 움직임을 완벽하게 읽어서 최고의 플레이를 하는 것과 같습니다.
현실의 문제 (제어 불완전성): 하지만 현실에서는 로봇의 모터가 느리거나, 신호 전달에 지연이 생기거나, 계산 오류가 발생할 수 있습니다. 즉, "계산된 명령"과 "실제 작동" 사이에 오차가 생기는 것입니다.
- 비유: 친구와 함께 춤을 추는데, 친구가 리듬을 타지 못하고 발을 헛디뎌서 (실수) 당신도 함께 넘어질 수 있습니다.

2. 연구의 핵심 질문

"만약 상대방 (또는 파트너) 이 계산된 대로 움직이지 않고 실수를 한다면, 나는 어떻게 해야 내 손해를 최소화할 수 있을까?"

기존 연구들은 "상대방도 똑똑해서 실수하지 않을 거야"라고 가정하거나, "상대방의 실수를 무시하고 내 계획대로만 해"라는 접근을 취했습니다. 하지만 이 논문은 **"상대방의 실수를 눈치채고, 그 실수를 보정해 주는 새로운 전략"**을 제안합니다.

3. 해결책: "보상 (Compensation)" 전략

저자들은 상대방의 실수를 측정할 수 있다면, 내가 그 실수를 미리 보정해서 움직일 수 있다고 말합니다.

상상해 보세요:
- 상황: 두 사람이 함께 무거운 상자를 들어 올립니다.
- 상대방 (Player 2): 힘이 빠져서 원래 계획대로 힘을 주지 못합니다 (실수).
- 기존 방식 (Reference Feedback): "상대가 힘을 안 줬네? 어쩔 수 없어. 나는 내 계획대로만 힘을 주자." -> 결과는 상자가 기울거나 떨어집니다.
- 이 논문의 방식 (Compensated Feedback): "상대가 힘을 안 주는 걸 눈치챘다! 그럼 내가 상대가 빠진 힘을 대신 채워주면서 내 위치도 조절해야지." -> 상자는 여전히 잘 들어 올려집니다.

이 논문의 핵심은 상대방의 실수 (지연, 오차) 를 측정해서, 그 오차를 상쇄할 수 있도록 내 행동을 수정하는 것입니다.

4. 어떻게 작동할까요? (수학적 원리의 비유)

논문의 수학적인 내용은 다음과 같은 과정으로 이루어집니다.

감지 (Sensitivity Analysis): 상대방이 얼마나, 어떤 방향으로 실수하는지 분석합니다. (예: "상대방이 1 초 늦게 움직이면, 내 위치는 10cm 어긋난다.")
보정 (Augmentation): 상대방의 실수를 마치 '바람'이나 '중력'처럼 하나의 변수로 취급합니다. 그리고 내 행동 계획에 이 변수를 포함시켜 다시 계산합니다.
최적화: 상대방의 실수를 보정하는 새로운 명령을 내립니다. 이는 상대방이 다시 완벽해지기를 기다리는 것이 아니라, 지금 당장 내가 할 수 있는 최선의 행동을 찾는 것입니다.

5. 실제 실험 결과 (두 대의 카트 실험)

저자들은 스프링으로 연결된 두 대의 카트 (작은 차량) 를 실험했습니다.

실험 설정: 한쪽 카트 (상대방) 의 모터가 느려서 지체되는 상황을 만들었습니다.
결과:
- 보정 없이: 두 카트 모두 목표 지점에 제대로 가지 못했고, 에너지도 많이 낭비했습니다.
- 보정 전략 사용: 상대방이 지체되는 것을 감지한 나는, 상대방의 지체를 보상하듯 내 힘을 조절했습니다.
- 효과: 상대방은 여전히 지체되었지만, 나의 목표 달성률은 크게 회복되었습니다. (상대방의 실수로 인한 내 손해를 약 30% 이상 줄였습니다.)

6. 결론 및 시사점

이 논문이 우리에게 주는 메시지는 다음과 같습니다.

"완벽한 파트너를 기대하기보다, 파트너의 불완전함을 예측하고 내 전략을 유연하게 바꾸는 것이 더 현명하다."

로봇 공학/자율주행: 다른 차량이 갑자기 브레이크를 밟거나, 통신이 지연될 때, 내 차가 그 상황을 미리 예측하고 보정하면 사고를 막을 수 있습니다.
팀워크: 팀원 중 한 명이 실수했을 때, "너 왜 그래?"라고 비난하기보다, "그 실수를 내가 어떻게 커버할까?"를 고민하는 것이 팀 전체의 성과를 높입니다.

💡 한 줄 요약

"상대가 완벽하게 움직이지 못해도, 내가 그 실수를 눈치채고 보정해 주면 내 목표는 여전히 달성할 수 있다!"

이 연구는 불완전한 현실 세계에서, 게임 이론과 제어 공학을 결합하여 더 강인하고 똑똑한 시스템을 만드는 길을 제시합니다.

1. 문제 정의 (Problem Statement)

배경: 게임 이론과 내쉬 균형 (Nash Equilibrium) 은 로봇공학, 교통 관리, 자율 주행 등 다양한 공학 분야에서 널리 적용되고 있습니다. 특히 유한 시간 구간 (finite-horizon) 의 선형 2 차 (Linear Quadratic, LQ) 비영합 게임 (nonzero-sum game) 에서 내쉬 균형 전략은 이론적으로 최적의 해를 제공합니다.
핵심 문제: 실제 공학 시스템에서는 이상적인 내쉬 균형 전략을 완벽하게 실행하는 것이 불가능합니다. 액추에이터의 한계, 지연, 외란, 계산 오차 등으로 인해 한 플레이어의 제어 입력이 의도된 명령에서 벗어날 수 있습니다 (제어 불완전성).
연구 목적: 이러한 실행 단계의 편차 (deviations) 가 시스템의 상태 궤적과 상대방 플레이어의 비용 (cost) 에 미치는 영향을 정량화하고, 이를 보상하여 성능 저하를 최소화하는 새로운 피드백 전략을 개발하는 것입니다.

2. 방법론 (Methodology)

이 논문은 이산 시간 (discrete-time) 유한 시간 LQ 게임을 기반으로 다음과 같은 단계로 접근합니다.

1 차 민감도 분석 (First-Order Sensitivity Analysis):
- 한 플레이어 (예: 플레이어 2) 가 내쉬 균형 전략에서 작은 편차 ( $\Delta u_2$ ) 를 보일 때, 다른 플레이어 (플레이어 1) 의 비용 ( $J_1$ ) 이 어떻게 변화하는지 분석합니다.
- 편차가 시스템 동역학을 통해 어떻게 전파되는지 명확한 폐쇄형 (closed-form) 수식을 유도하여, 편차가 플레이어 1 의 비용에 선형적으로 영향을 준다는 것을 증명합니다.
보상 피드백 (Compensated Feedback, CF) 설계:
- 플레이어 1 이 상대방의 편차를 측정하거나 추정할 수 있다고 가정합니다.
- 증강 상태 (Augmented State) 접근법: 시스템의 상태 벡터에 편차 (또는 외란) 동역학을 포함시켜 증강된 상태 벡터를 정의합니다. 예를 들어, 액추에이터의 1 차 지연 모델을 편차 동역학으로 모델링합니다.
- 최적 제어 법칙 유도: 증강된 시스템을 기반으로 리카티 (Riccati) 방정식을 역방향으로 풀어서, 플레이어 1 의 최적 제어 입력을 구합니다.
- 제어 구조: 유도된 제어 법칙은 $u_{1,k} = -K_k x_k - L_k w_k$ 형태로, 기존 상태 피드백 ( $K_k x_k$ ) 에 더해 측정된 편차/외란에 대한 전향 (feedforward) 보상 항 ( $L_k w_k$ ) 을 포함합니다. 이는 '교란 기반 상태 보상 (Disturbance-Based State Compensation, DBSC)' 개념을 게임 이론적 맥락에 적용한 것입니다.

3. 주요 기여 (Key Contributions)

이산 시간 게임에 대한 민감도 분석: 한 플레이어의 제어 편차가 시스템 동역학과 상대방의 비용에 미치는 영향을 정량화하는 폐쇄형 수식을 최초로 도출했습니다.
최적 보상 제어 정책 설계: 측정 가능한 편차 동역학을 증강하여, 인과적 아핀 (causal affine) 정책 클래스 내에서 플레이어 1 의 비용을 최소화하는 유일한 최적 피드백 법칙을 제안했습니다. 이 정책은 기존 내쉬 균형 기반의 보상되지 않은 피드백을 특수한 경우로 포함합니다.
국소 성능 개선 증명: 편차가 충분히 작을 때, 제안된 보상 피드백 (CF) 이 보상되지 않은 피드백 (REF) 보다 2 차 (second-order) 수준에서 비용이 더 낮거나 같음을 수학적으로 증명했습니다. 즉, 편차가 존재할 때 항상 성능이 개선되거나 최소한 동일하게 유지됩니다.
수치적 검증: 스프링 - 댐퍼로 연결된 두 대의 카트 (두 플레이어) 가 상호작용하는 시나리오를 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

시나리오: 두 대의 카트 (플레이어 1, 2) 가 스프링 - 댐퍼로 연결된 시스템에서, 플레이어 2 의 액추에이터에 1 차 지연 (lag) 이 발생하여 제어 입력이 왜곡되는 상황을 가정했습니다.
비교 사례:
1. Case I (FNE): 이상적인 내쉬 균형 (지연 없음).
2. Case II (REF): 플레이어 2 에 지연 발생, 플레이어 1 은 기존 내쉬 전략 유지 (보상 없음).
3. Case III (CF): 플레이어 2 에 지연 발생, 플레이어 1 은 제안된 보상 피드백 전략 적용.
성능 지표:
- 플레이어 1 의 비용 ( $J_1$ ): 지연 발생 시 (Case II) 비용이 51.36% 증가했으나, 보상 전략 (Case III) 을 적용하면 이 증가분의 약 31.56% 를 회복하여 비용이 10.71% 감소했습니다.
- 적분 제곱 오차 (ISE): 플레이어 1 의 상태 오차 (ISE1) 는 보상 전략 적용 시 41.28% 감소했습니다.
- 플레이어 2 의 비용: 흥미롭게도 플레이어 1 이 보상 전략을 쓰면 플레이어 2 의 비용은 오히려 약간 증가했습니다. 이는 플레이어 1 이 자신의 비용을 최적화하는 비대칭적인 보상 전략이기 때문이며, 전체 시스템의 사회적 최적 (social optimum) 을 보장하지는 않음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

실용성: 실제 시스템에서 내쉬 균형 전략의 완벽한 실행이 불가능할 때, 측정 가능한 실행 오차를 활용하여 상대방의 오차가 내 시스템에 미치는 영향을 능동적으로 보상할 수 있음을 보였습니다.
이론적 확장: 기존의 적응 제어나 $\epsilon$ -균형 접근법과 달리, 특정 플레이어의 실행 편차를 명시적으로 모델링하고 이를 보상하는 구조화된 피드백 법칙을 제시했습니다.
한계 및 향후 과제: 현재 연구는 한 플레이어의 보상 전략에 집중하고 있으며, 상대방도 함께 보상 전략을 수정하는 경우나 더 복잡한 편차 패턴 (시간 가변, 상관관계 등) 에 대한 연구는 향후 과제로 남겼습니다.

요약하자면, 이 논문은 제어 불완전성으로 인한 내쉬 균형 전략의 실패를 단순히 감수하는 것이 아니라, 측정 가능한 편차 정보를 활용하여 상대방의 오차를 보상하는 최적의 피드백 전략을 수학적으로 유도하고 그 효과를 입증한 중요한 연구입니다.