It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

인공지능의 세계에서 기계는 종종 로봇 청소기가 바닥을 청소하거나 프로그램이 체스 게임에서 이기는 것처럼, 단 하나의 목표를 쫓도록 학습됩니다. 하지만 현실 세계는 결코 그렇게 단순하지 않습니다. 흔든 경우, 에이전트는 목적지에 빠르게 도착하면서도 안전을 유지하고 에너지를 절약하는 자율주행 자동차처럼, 여러 가지 상충하는 목표를 동시에 조율해야 합니다. 이러한 목표들이 충돌할 때, 기계는 어떤 것이 더 중요한지 결정할 방법이 필요합니다. 더욱이, 결정의 결과는 서로 다른 시간대에 걸쳐 나타날 수 있습니다. 작은 실수는 즉각적인 문제를 일으킬 수도 있고, 일련의 작은 실수들이 모여 몇 달 뒤에 재앙이 될 수도 있습니다. 수년간 연구자들은 이러한 상황을 다루기 위해 다양한 수학적 도구들을 개발해 왔지만, 일반적으로 각 시간대를 별개의 문제로 취급하여, 즉각적인 위험에는 한 가지 방법을 선택하고 장기적인 평균에는 다른 방법을 선택해 왔습니다.

한 새로운 연구는 이러한 분리에 이의를 제 제기하며, 현실 세계의 결정은 종종 에이전트가 즉각적, 중기적, 그리고 장기적 결과 모두를 동시에 걱정할 것을 요구한다고 주장합니다. 벨기에, 브라질, 호주의 여러 기관에서 협력한 연구진은 이러한 전통적인 방법 중 하나에만 의존하는 것이 여러 시간 척도가 얽혀 있을 때 위험하거나 비효로적인 결과를 초래할 수 있음을 보여줍니다. 독성 물질에 노출된 노동자들을 포함하는 시나리오를 시뮬레이션함으로써, 그들은 장기적인 평균 노출을 보호하도록 설계된 전략이 실수로 노동자를 단기적인 위험 급증에 희생시킬 수 있는 반면, 즉각적인 안전에 집중한 전략은 서서히 쌓여가는 건강 위기를 간과할 수 있음을 보여줍니다. 그들의 연구는 진정으로 안전하고 효과적인 인공지능을 구축하기 위해, 우리는 이러한 서로 다른 시계들을 동시에 균형 있게 조절할 수 있는 새로운 사고방식이 필요함을 시사합니다.

문제의 핵심은 에이전트를 위해 "행복" 또는 "효용"을 어떻게 측정하느냐에 있습니다. 많은 표준 AI 시스템에서 기계는 예상되는 장기적인 평균 보상을 계산하고 이 숫자를 극대화하려고 노력합니다. 이는 하루에 수천 개의 비디오 파일을 처리하는 공장에는 잘 작동합니다. 만약 평균 전력 사용량과 속도가 양호하다면, 특정 파일 하나가 너무 오래 걸렸더라도 그 시스템은 성공적이라고 간주됩니다. 그러나 이러한 접근 방식은 단 한 번의 나쁜 결과가 치명적일 때 실패합니다. 환자가 의료 처치를 받는 경우를 생각해 보십시오. 그 환자는 그 처치를 단 한 번만 경험하게 됩니다. 그들은 수천 명의 다른 환자들의 평균적인 결과에는 관심이 없습니다. 그들은 자신만의 구체적인 결과에 관심을 가집니다. 만약 의료 처치가 비선형적 위험(즉, 용량의 작은 증가가 위험의 거대한 도약을 초래하는 경우)을 가진다면, 평균 계산은 실제 위험을 숨기게 됩니다. 환자에게는 수많은 여정의 평균이 아니라, 자신의 단 한 번의 여정에 대한 구체적인 결과를 평가하는 시스템이 필요합니다.

시간을 바라보는 세 번째 관점은 바로 다음 단계에 집중하는 것입니다. 자동차가 벽에 부딪히는 장면을 상상해 보십시오. 부상 위험은 충격력에 비선형적으로 의존합니다. 강한 충격은 훨씬 더 위험하며, 위험은 단순히 시간에 따라 더해지는 것이 아닙니다. 백 번의 가벼운 충격이 한 번의 강한 충돌과 같지는 않습니다. 이 관점에서 시스템은 매 순간 발생하는 위험을 평가해야 하며, 위험한 요소의 조합이 발생하면 즉시 벌칙을 적용해야 합니다. 수십 년 동안 연구자들은 이 세 가지 관점—장기적 평균, 단일 여정의 결과, 그리고 즉각적인 단계별 위험—을 서로 다른 작업을 위한 별개의 도구로 취급해 왔습니다. 이 논문의 저자들은 이러한 분리가 결함이라고 주장합니다. 그들은 많은 복잡한 문제들이 세 가지 시간 척도를 동시에 고려할 것을 요구한다고 제안합니다.

이 점을 증명하기 위해, 연구진은 세 명의 직원과 각각 다른 독성 수준을 가진 세 가지 과업이 포함된 단순화된 시뮬레이션을 만들었습니다. 목표는 한 달 동안 이 노동자들을 과업에 배정하면서 그들을 안전하게 유지하는 것이었습니다. 작업의 독성은 단순한 숫자가 아니었으며, 측정되는 시점에 따라 다른 효과를 가졌습니다. 단 하루 내의 높은 용량에 의한 즉각적 위험, 한 달간의 총 노출에 의한 중기적 위험, 그리고 여러 달에 걸친 누적 손상에 의한 장기적 위험이 있었습니다. 연구팀은 세 가지 전통적인 방법을 각각 사용하여 시뮬레이션을 실행한 다음, 이를 결합하려고 시도했습니다.

시스템이 장기적인 평균에만 집중했을 때, 시스템은 숙련된 두 명의 노동자를 지속적으로 교대시켜 안전하게 유지하는 전략을 찾았지만, 결과적으로 세 번째의 덜 숙련된 노동자를 사실상 희생시켜 가장 위험한 과업에 반복적으로 배정했습니다. 그 논리는 집단의 평균 위험이 낮으므로, 시스템은 한 사람이 과부하를 겪고 있다는 사실을 무시한 것입니다. 시스템이 단일 여정의 결과에 집중했을 때, 시스템은 누구도 해당 월 동안 위험하게 높은 총량을 마주하지 않도록 노동자들을 빈번하게 교대시키는 법을 배웠습니다. 이는 모두를 비교적 안전하게 유지했지만, 많은 교체를 초래하여 효율성이 떨어질 수 있었습니다. 시스템이 즉각적인 단계별 위험에 집중했을 때, 시스템은 노동자들을 교체하는 것을 피하고 대신 그들의 기술 수준에 맞는 과업에 머물게 하는 것을 선호했는데, 이는 안전하지만 경직된 접근 방식이었습니다.

가장 드러나는 결과는 연구진이 세 가지 시간 척도를 동시에 최적화하려고 시도했을 때 나왔습니다. 그들은 즉각적, 월간, 그리고 장기적 위험을 하나의 목표로 결합하는 방법을 사용했습니다. 결과로 나온 전략은 다른 것들의 혼합이었지만, 새로운 프레임워크 없이 이러한 경쟁하는 시계들을 조율하려고 할 때 발생하는 결정적인 결함을 드러냈습니다. 시스템은 다시 한번 가장 경험이 적은 노동자를 희생시키는 경향을 보였는데, 다른 사람들을 즉각적인 급증과 장기적인 축적으로부터 보호하기 위해 그에게 가장 힘든 과업을 배정했습니다. 시뮬레이션은 단순히 서로 다른 시간 척도를 평균 내려고 하는 것만으로는 작동하지 않는다는 것을 보여주었습니다. 위험의 비선형적 특성 때문에, 한 시간 척도를 보호하는 것이 의도치 않게 다른 시간 척도를 위험하게 만들 수 있기 때문입니다. 연구진은 하나의 시간 척위에 대해 잘 작동하는 정책이 모든 척도를 함께 고려할 때는 최악의 선택이 될 수 있음을 발견했습니다.

이 발견은 현재 인공지능 연구의 중대한 공백을 강조합니다. 우리는 장기적인 평균이나 즉각적인 위험을 다루는 강력한 도구들을 가지고 있지만, 그것들을 함께 다룰 포괄적인 방법은 부족합니다. 저자들은 미래의 시스템이 가능한 결과의 분포를 학습해야 한다고 제안합니다. 즉, 평균적인 결과뿐만 아니라 서로 다른 시간 창에 걸쳐 일어날 수 있는 전체 범위를 이해해야 한다는 것입니다. 그들은 한 시간 척위에서의 안전성을 개선하기 위해 정책을 변경하는 것이 다른 시간 척위에서는 상황을 악화시킬 수 있어 복잡한 트레이드오프의 지형을 만든다는 점에서, 이것이 어려운 도전임을 인정합니다. 그러나 그들은 의학에서의 방사선 치료 관리부터 고객 서비스 최적화에 이르기까지, 개인의 안전과 만족을 전체의 효율성과 균형 있게 조절해야 하는 실제 응용 분야를 위해 이러한 결합된 접근법을 개발하는 것이 필수적이라고 믿습니다.

연구는 우리가 현재 기계에게 결정을 내리는 법을 가르치는 방식이 너무 좁다고 결론짓습니다. 시간을 단일 차원으로 취급하거나 여러 관점 중 하나를 선택함으로써, 우리는 이론적으로는 안전하지만 실제로는 위험한 시스템을 만들 위험이 있습니다. 앞으로 나아갈 길은 여러 시간 척도를 동시에 염두에 둘 수 있는 새로운 알고리즘을 요구하며, 이를 통해 에이전트가 단순히 평균을 극대화하거나 단 한 번의 나쁜 날을 피하는 것이 아니라, 존재의 전 기간에 걸친 행동의 무게를 진정으로 이해하도록 보장해야 합니다. 이것은 단순한 기술적 조정을 넘어, 인공지능이 인간 삶의 복잡하고 다층적인 현실을 항해할 수 있도록 하기 위한 필수적인 진화입니다.