Risk reversal for least squares estimators under nested convex constraints

당신은 울창한 숲속에서 길을 잃은 등산객을 찾으려 노력하고 있다고 상상해 보세요. 당신에게는 지도가 있지만, 지도는 약간 흐릿하며, 오직 노이즈가 섞인 무선 신호에만 의지해 위치를 파악해야 합니다. 통계학의 세계에서도 이것은 흔한 문제입니다. 즉, 희미한 데이터(예: 등산객의 위치)를 바탕으로 숨겨진 진실을 추측하는 것이죠. 보통 통계학자들은 진실이 어디에 있을지에 대한 '예감'을 가지고 있습니다. 예를 들어, 등산객이 특정 공원 안에 있다거나, 심지어 그 공원 안의 작은 공터에 있을 것이라는 식의 예감 말입니다. 이 '예감'을 '제약 조건(constraint)'이라고 부릅니다. 표준적인 규칙은 만약 우리가 지도에 더 많은 규칙을 추가한다면(예: 탐색 범위를 전체 숲에서 공원으로, 다시 공원에서 작은 공터로 좁히는 것), 더 나은 추측을 얻을 수 있다는 것입니다. 이는 논리적으로 느껴집니다. 정보가 많아질수록 오차는 줄어들어야 하니까요. 이것이 바로 수학자들이 노이즈가 섞인 데이터를 사용하여 최선의 추측을 하기 위해 기하학을 사용하는 분야인 '제약된 추정(constrained estimation)'의 기초입니다.

하지만 만약 당신이 추가한 규칙들이 오히려 당신의 추측을 더 나쁘게 만든다면 어떨까요? 만약 탐색 영역을 좁히는 것이 도움을 주기는커녕, 오히려 당신의 추정치를 진실로부터 더 멀리 밀어내 버린다면 어떨까요? 이는 논리의 매트릭스에 발생한 오류처럼 들립니다. 하지만 오마르 알 가타스(Omar Al-Ghattas)의 새로운 논문에 따르면, 노이즈가 있는 데이터의 세계에서 이러한 직관에 반하는 '리스크 역전(risk reversal)' 현상은 가능할 뿐만 아니라 매우 단순하고 일상적인 시나리오에서도 발생할 수 있습니다. 이 논문은 '가우시안 시퀀스 모델(Gaussian sequence model)'이라 불리는 특정한 수학적 문제를 탐구합니다. 이는 단순히 "우리는 어떤 참값(true number)이 있고, 우리는 그것이 무작위적인 정적(static)에 의해 뒤섞인 버전을 보고 있다"는 것을 멋지게 표현한 것입니다. 목표는 노이즈가 섞인 관측치를 우리가 답이 들어있다고 믿는 어떤 형태(삼각형이나 선과 같은 모양) 위로 투영하여 참값을 찾는 것입니다. 논문은 다음과 같은 간단한 질문을 던집니다. 만약 우리가 우리의 형태를 답을 확실히 포함하는 더 작은 형태로 줄인다면, 우리의 오차는 항상 줄어들 것인가?

놀랍게도, 대답은 '아니오'입니다. 논문은 특정 조건 하에서, 특히 노이즈(정적)가 충분히 클 때, 제약을 강화하는 것이 오히려 오차를 증가시킬 수 있음을 증명합니다. 저자들은 이것이 이상하고 고장 난 예시에서 일어나는 일회성 현상이 아님을 보여줍니다. 이는 삼각형이나 선과 같은 표준적인 도형에서도 발생하며, 심지어 '참값'이 경계가 아닌 형태의 한가운데에 있을 때도 마찬가지입니다. 저자들은 노이즈가 아주 작을 때는 제약이 도움이 되지만, 노이즈가 매우 큰 '스위트 스팟(sweet spot)'에서는 도형의 기하학적 구조가 무작위성과 상호작용하여 더 좁고 타이트한 제약이 더 나쁜 성능을 내게 만든다는 것을 보여줍니다. 이는 단순한 이론적 호기심이 아닙니다. 저자들은 이를 수학적으로 증명하여 오차가 엄격하게 증가할 수 있음을 보여주었으며, 심지어 이것이 '최악의 경우(worst-case)'에도 발생한다는 것을 입증했습니다. 즉, 이는 추정기가 작동하는 방식의 진정한 결함이지, 단순한 일시적인 오류가 아니라는 뜻입니다.

줄어드는 함정의 이야기

이 역설의 메커니즘을 다트판과 매우 혼란스러워하는 투척자의 이야기를 통해 깊이 파헤쳐 봅시다.

당신은 다트판 위의 과녁(참 매개변수, $\theta^\star$)을 맞추려고 노력하고 있습니다. 하지만 당신은 눈이 가려져 있고, 던질 때마다 바람(노이즈, $\sigma Z$)이 다트를 경로에서 벗어나게 만듭니다. 당신은 과녁이 커다란 삼각형 텐트($\Theta_L$) 안에 있다는 것을 알고 있습니다. 스스로를 돕기 위해, 당신은 이 큰 텐트 안에 더 작고 타이트한 텐트($\Theta_S$)를 설치하기로 결정합니다. 만약 탐색 범위를 이 작은 영역으로 제한하면 더 정확해질 것이라고 믿으면서 말이죠. 당신은 '최소제곱 추정량(Least Squares Estimator)'을 사용하는데, 이는 "다트가 떨어진 곳을 보고, 당신의 텐트 안에서 가장 가까운 점을 향해 직선을 그리라"는 규칙의 멋진 이름입니다.

고요하고 조용한 세상(낮은 노이즈)에서는 이것이 완벽하게 작동합니다. 바람이 거의 불지 않는다면, 당신의 다트는 과녁 근처에 떨어질 것입니다. 당신이 큰 텐트 안에 있든 작은 텐트 안에 있든, 당신의 다트에 가장 가까운 점은 거의 정확히 과녁과 일치합니다. 사실, 과녁이 작은 텐트의 중앙에 있다면, 작은 텐트가 약간 더 낫습니다. 왜냐하면 다트가 도달할 수 없는 큰 텐트의 '낭비되는' 공간을 잘라내 주기 때문입니다.

하지만 이제 바람을 엄청나게 키워봅시다. 태풍을 만들어 보세요. 갑자기, 당신의 다트는 과녁에서 멀리 떨어진 곳 어디든 떨어질 수 있습니다. 여기서 마법(혹은 함정)이 일어납니다.

논문은 이 상황이 어떻게 잘못되는지 보여주기 위해 텐트의 구체적인 모양을 설정합니다. 큰 텐트는 삼각형이고, 작은 텐트는 그 안을 가로지르는 하나의 선분이라고 상상해 보세요. 바람이 휘몰아칠 때, 당신의 다트는 과녁에서 아주 먼 곳에 떨어질 수 있습니다.

• 큰 텐트: 넓고 특정 방향을 향한 모서리가 있기 때문에, 큰 텐트 내부의 '가장 가까운 점'은 다트가 떨어진 곳에 비교적 가까운 모서리가 될 수 있습니다.
• 작은 텐트: 단지 얇은 선이기 때문에, 그 선 위의 다트와 가장 가까운 점은 큰 텐트의 모서리보다 실제로는 과녁으로부터 훨씬 더 멀리 떨어진 지점이 될 수도 있습니다.

이것은 방 안에서 열쇠를 찾는 것과 같습니다. 만약 방이 매우 크다면(큰 텐트), 열쇠를 구석에 떨어뜨렸을 때 빠르게 찾을 수 있을 것입니다. 하지만 방을 좁은 복도(작던 텐트)로 줄였는데 그 복도가 그 구석까지 닿지 않는다면, 당신은 열쇠가 실제로 있는 곳에서 더 멀리 떨어진 곳을 찾아야만 할 수도 있습니다. 단순히 복도가 당신을 다른 방향을 보게 강제하기 때문입니다.

논문은 노이즈가 충분히 클 때, '작은 텐트'가 '큰 텐트'보다 더 자주 '나쁜 추측'을 하게 만든다는 것을 보여줍니다. 큰 텐트는 넓은 공간 덕분에, 노이즈가 섞인 다트와 더 가까운 '안전한 항구'(경계 위의 점)를 가질 확률이 더 높습니다.

노이즈의 두 얼굴

저자들은 이 현상이 노이즈가 얼마나 큰지에 따라 전적으로 달라진다고 설명합니다. 그들은 이야기를 두 장으로 나눕니다.

제1장: 속삭임 (사라지는 노이즈)
노이즈가 아주 작을 때(바람이 미풍일 때), 논문은 작은 텐트가 항상 승리하거나 비등하다고 증명합니다. 이때 오차는 과녁 주변의 텐트의 국소적 형태에 의해 결정됩니다. 만약 과녁이 작은 텐트 안에 있다면, 작은 텐트의 국소적 형태는 더 '타이트'하며, 이는 보통 오차를 위한 여지가 적음을 의미합니다. 이 영역에서는 직관이 통합니다: 더 많은 제약 = 더 높은 정확도. 논문은 수학적으로 당신이 여기서 리스크 역전을 일으킬 수 없음을 증명합니다. 즉, 작은 텐트의 오차는 항상 큰 텐트보다 작거나 같습니다.

제2장: 포효 (발산하는 노이즈)
노이즈가 거대할 때(태풍일 때), 국소적인 형태는 중요하지 않으며 '전역적(global)'인 형태가 중요해집니다. 다트가 너무 멀리 떨어져 있어서, 추정기는 본질적으로 바람의 방향에서 본 텐트의 '실루엣'을 보고 있는 것과 같습니다. 논문은 추정기가 노이즈의 방향에 따라 텐트의 특정 '면'이나 '모서리'를 선택하게 된다고 보여줍니다.
여기에 반전이 있습니다. 작은 텐트는 무작위적인 노이즈 방향에서 보았을 때, 과녁으로부터 멀리 떨어진 모서리를 가리키는 기하학적 구조를 가질 수 있습니다. 반면, 큰 텐트는 노이즈를 더 잘 '포착'하여 과녁에 더 가깝게 착륙할 수 있는 추가적인 모서리를 가지고 있을 수 있습니다.
논문은 매개변수 $c$(삼각형의 모양을 조절함)를 이용한 구체적인 예를 제공합니다. 만약 $c$가 작아서(작은 텐트를 매우 가늘게 만들어서) 노이즈가 커지면, 작은 텐트의 오차가 큰 텐트보다 엄격하게 커진다는 것을 보여줍니다. 저자들은 노이즈가 증가함에 따라 오차 곡선이 교차하는 그래프를 제시합니다. 처음에는 작은 텐트가 더 낫지만, 노이즈가 커질수록 선들이 교차하며 작은 텐트가 더 나빠지게 됩니다. 이것이 바로 '리스크 역전'입니다.

이것은 단순한 우연이 아니다

당신은 "이것이 특정 삼각형을 사용한 이상한 트릭인가?"라고 물을 수 있습니다. 저자들은 그렇지 않다고 말합니다. 그들은 과녁이 모양의 가장자리가 아닌 정중앙에 있을 때도 이런 일이 발생함을 보여줍니다. 또한, 날카로운 삼각형뿐만 아니라 타원형과 같은 매끄러운 모양에서도 발생함을 보여줍니다. 심지어 노이즈가 완벽한 가우시안(표준 종 모양 곡선)이 아니더라도, 노이즈가 충분히 크기만 하다면 다른 종류의 '방사형(radial)' 노이즈에서도 발생한다는 것을 보여줍니다.

더 나아가, 저자들은 이것이 단 한 번의 나쁜 추측이 아님을 증명합니다. 그들은 '최악의 경우 오차'(발생 가능한 최대 오차) 역시 뒤집힌다는 것을 보여줍니다. 이는 만약 당신이 최악의 시나리오에서도 잘 작동하는 시스템을 설계하려는 통계학자라면, 제약을 추가하는 것이 오히려 시스템의 견고함(robustness)을 해칠 수 있다는 것을 의미합니다.

시사점

이 논문은 가장 기본적인 통계 도구 중 하나인 '투영 추정량(projection estimator)'의 숨겨진 실패 모드를 밝혀냅니다. 우리는 흔히 "더 많은 구조"(더 많은 제약)가 항상 더 좋다고 생각합니다. 하지만 이 논문은 노이즈가 가득한 세상에서, 구조를 추가하는 것이 때로는 당신의 추정기를 노이즈의 혼돈에 부적합한 기하학적 구조 속에 가두는 함정이 될 수 있음을 보여줍니다.

이는 높은 불확실성 앞에서, 때로는 좁고 구체적인 구석으로 몰리는 것보다 움직일 수 있는 여지를 조금 더 두는 것(더 큰 제약 집합)이 더 안전하다는 것을 상기시켜 줍니다. '리스크 역전'은 노이즈가 충분히 클 때, 더 정밀해지려는 행위 자체가 오히려 역효Backfire하여, 단순히 조금 더 막연하게 두었을 때보다 더 큰 오차를 초래할 수 있다는 것을 보여주는 진정한 통계적 현상입니다. 저자들은 이를 수학적으로 증명함으로써, "작은 것이 더 낫다"는 직관이 완전히 뒤집힐 수 있음을 보여주었습니다.