🤖 machine learning

CoAction: Cross-task Correlation-aware Pareto Set Learning

이 논문은 여러 다목적 최적화 문제를 동시에 해결하기 위해 태스크 간 상관관계를 활용하여 효율성과 성능을 향상시키는 태스크 인지형 트랜스포머를 사용하는 교차 태스크 상관관계 인지 파레토 집합 학습 프레임워크인 CoAction을 제안한다.

원저자: Xinyue Chen, Yingxuan Liang, Yiqin Huang, Chikai Shang, Hai-Lin Liu, Fangqing Gu

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinyue Chen, Yingxuan Liang, Yiqin Huang, Chikai Shang, Hai-Lin Liu, Fangqing Gu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 메뉴를 완성하기 위해 노력하는 마스터 셰프라고 상상해 보세요. **다목적 최적화(Multi-Objective Optimization)**의 세계에서, 당신은 단순히 요리 하나를 맛있게 만드는 것에 그치지 않습니다. 대신, '매콤함'과 '달콤함' 사이의 균형을 맞추거나, '저렴한 가격'과 '고품질' 사이의 균형을 맞추는 것과 같이 서로 충돌하는 목표들 사이의 균형을 잡으려 노력합니다. 단 하나의 "완벽한" 요리는 존재하지 않습니다. 대신, "최선의 타협점"이라 불리는 일련의 가능한 스펙트럼이 존재하며, 이를 **파레토 집합(Pareto Set)**이라고 합니다.

전통적인 방식이라면, 버거의 완벽한 매콤달콤한 균형을 배우기 위해 버거 전용 로봇 셰프를 훈련시켜야 했을 것입니다. 만약 피자를 위한 완벽한 균형을 배우고 싶다면, 버거 로봇을 해고하고 피자만을 위한 새로운 로봇을 만들어 처음부터 다시 훈련시켜야 했을 것입니다. 이는 느리고 비용이 많이 들 뿐만 아니라, 버거와 피자가 양파를 다지거나 열을 조절하는 것과 같은 유사한 기술들을 공유한다는 사실을 무시하는 처사입니다.

이 논문은 단 하나의 "슈퍼 셰프" 로봇이 여러 가지 서로 다른 요리(태스크)를 동시에 수행하며 완벽한 타협점을 찾아낼 수 있도록 하는 새로운 방법인 CoAction을 소개합니다.

이 기술이 어떻게 작동하는지 쉬운 개념으로 나누어 설명해 드리겠습니다:

1. 문제점: 작업당 로봇 한 대

기존의 방법(PSL이라 불리는)은 모든 문제마다 별도의 로봇을 두는 것과 같습니다. 만약 당신에게 7가지의 서로 다른 공학 설계 문제(예: 다리, 로켓, 자동차 설계)가 있다면, 7개의 서로 다른 모델이 필요합니다. 이는 시간과 비용을 낭비하며, "로켓 로봇"이 "자동차 로봇"으로부터 배울 수 있는 기회를 놓치게 만듭니다.

2. 해결책: "이름표" 시스템 (태스크 임베딩)

CoAction은 모든 태스크에 고유한 디지털 이름표(태스크 임베딩)를 부여함으로써 이 문제를 해결합니다.

작동 원리: 거대한 주방 하나가 있다고 상상해 보세요. 매 레시피마다 새로운 주방을 만드는 대신, 각 레시피에 특정 색깔의 앞치마를 부여합니다.
마법 같은 효과: 로봇은 로켓을 만들 때는 "로켓 앞치마"를 입고, 다리를 만들 때는 "다리 앞치마"를 입습니다. 로봇은 자신이 어떤 앞치마를 입고 있는지 알기 때문에 어떤 규칙을 따라야 하는지 압니다. 하지만 동일한 로봇이기 때문에, 로켓과 다리 모두에 적용될 수 있는 일반적인 요리 기술(예: 열을 다루는 법)을 배울 수도 있습니다. 이것이 바로 **지식 공유(Knowledge Sharing)**입니다.

3. 두뇌: 트랜스포머 (더 똑똑하게 듣는 법)

Co-Action은 로봇이 이러한 서로 다른 태스크들이 어떻게 연관되어 있는지 이해할 수 있도록, **트랜스포머(Transformer)**라는 특별한 뇌 구조(현대 AI 챗봇의 기반 기술)를 사용합니다.

비유: 전통적인 로봇이 한 번에 하나의 지시만 듣는 사람이라면, 트랜스포머는 모든 악기(모든 태스크)를 동시에 들을 수 있는 오케스트라의 지휘자와 같습니다.
이점: 이는 자기 주의 집중(Self-Attention) 메커니즘을 사용합니다. 이를 통해 로봇은 "로켓" 태스크를 살펴보며 "이 로켓 설계의 이 부분은 저 다리 설계의 저 부분과 매우 유사하다"라고 말할 수 있습니다. 로봇은 서로 다른 문제들 사이의 점들을 연결하여 더 빠르고 더 잘 학습합니다.

4. 결과: 더 빠르고 더 똑똑하게

저자들은 이 "슈퍼 셰프"를 수학 퍼즐부터 실제 공학 과제(로켓 인젝터 설계 등)에 이르는 7가지 서로 다른 문제로 테스트했습니다.

속도: 7개의 개별 모델을 만드는 대신 하나의 모델로 모든 문제를 훈련했기 때문에, 약 27%의 시간을 절약했습니다.
품질: 대부분의 경우, 단일 "슈퍼 셰프"는 개별 로봇들보다 더 나은 타협안을 만들어냈습니다. 이 모델은 더 넓은 범위의 솔루션을 찾아냈으며(더 많은 "메뉴"를 커버함), 매우 안정적이었습니다.
"어려운" 테스트: 가장 큰 성과는 매우 복잡한 3가지 목표를 가진 문제(로켓 인젝터)에서 나타났습니다. 기존 방식은 좋은 솔루션을 찾는 데 어려움을 겪었지만, 모든 태스크를 동시에 들을 수 있는 능력을 갖춘 CoAction 로봇은 훨씬 더 좋고 완전한 솔루션 세트를 찾아냈습니다.

요약

CoAction은 7명의 분리되고 고립된 견습생을 두는 대신, 각기 다른 직업에 맞춰 다른 모자를 쓰는 숙련된 마스터 셰프 한 명을 두는 것과 같습니다. 특별한 "이름표" 시스템과 모든 일을 동시에 들을 수 있는 뇌를 사용함으로써, 이 시스템은 각 문제를 따로 해결하려고 할 때보다 더 빠르게 학습하고, 비용을 절감하며, 더 나은 결과를 만들어냅니다.

기술 요약: CoAction – 교차 작업 상관관계 인지형 파레토 집합 학습 (Cross-task Correlation-aware Pareto Set Learning)

1. 문제 정의

다목적 최적화(Multi-objective optimization, MOO)는 상충하는 목적들에 대한 트레이드오프 해집합(파레토 집합, Pareto set, PS)을 찾는 것을 목표로 한다. 기존의 진화 알고리즘(예: NSGA-II, MOEA/D)은 실행당 유한한 솔루션 세트를 생성하지만, 선호도가 동적으로 변하는 실시간 의사결정 상황에서는 어려움을 겪는다. 파레토 집합 학습(Pareto Set Learning, PSL)은 선호도 벡터를 파레토 최적해로 매핑하는 신경망을 훈련함으로써 실시간 의사결정을 해결한다.

그러나 기존의 PSL 방법들은 근본적인 한계점을 가지고 있다: 이들은 한 번에 하나의 MOO 문제만을 해결하도록 설계되었다. 관련 있는 여러 작업을 포함하는 다중 작업 학습(Multi-Task Learning, MTL) 시나리오에서, 이러한 패러다임은 각 작업마다 별도의 모델을 훈련해야 함을 의미한다. 이 방식은 계산 비용을 선형적으로 증가시키며, 관련 작업들 사이의 잠재적인 구조적 유사성과 공유된 지식을 활용하지 못한다. 본 논문은 여러 작업의 파레토 집합을 동시에 학습하면서 작업 간 상관관계를 모델링하여 효율성과 일반화 성능을 향상시킬 수 있는 통합 프레임워크의 필요성을 제기한다.

2. 방법론: CoAction 프레임워크

저자들은 CoAction(Cross-task Correlation-aware Pareto Set Learning)을 제안한다. 이는 단일 모델 내에서 여러 최적화 문제에 걸쳐 파레토 최적 해집합을 학습하도록 설계된 프레임워크이다. 이 방법론은 세 가지 핵심 구성 요소를 통합한다:

2.1 작업 임베딩 메커니즘 (Task Embedding Mechanism)

단일 모델이 파라미터를 공유하면서도 서로 다른 작업을 구분할 수 있도록, CoAction은 작업 임베딩 기법을 채택한다. 학습 가능한 임베딩 벡터는 작업 수에 따라 확장성이 떨어지고 보지 못한 작업 수에 대해 일반화에 실패할 수 있는 것과 달리, CoAction은 Transformer 아키텍처에서 영감을 얻은 **사인 함수 기반 위치 인코딩(sinusoidal positional encoding)**을 사용한다.

각 작업 $t$ 에는 고유한 $d$ -차원 임베딩 벡터 $e_t$ 가 할당된다.
임베딩은 작업 인덱스 $t$ 의 사인 및 코사인 함수를 사용하여 구축되며, 이를 통해 작업 인덱스가 유사한 작업들은 유사한 임베딩을 갖도록(매끄러움, smoothness) 하는 동시에 서로 구별 가능하도록(단사성, injectivity) 한다.
이 임베딩은 선호도 벡터 $\lambda(\theta)$ 와 결합되어 제로 패딩(zero-padding)된 형태로 네트워크 입력에 전달되며, 이를 통해 모델이 작업별 결정 변수를 생성할 수 있게 한다.

2.2 트랜스포머 백본 (Transformer Backbone)

프레임워크는 Transformer 인코더를 백본 아키텍처로 사용한다.

자기 주의 집중(Self-Attention): 자기 주의 집중 메커니즘은 작업 간의 복잡한 전역적 의존성을 포착하기 위해 사용된다. 이를 통해 모델은 훈련 중에 서로 다른 작업들의 영향력을 동적으로 가중 조절하여 작업 간 관계 모델링을 용이하게 한다.
아키텍처: 네트워크는 선형 투영 레이어, 위치 인코딩, 단일 레이어 인코더 블록(4개의 어텐션 헤드, 128 차원 은닉층), 가중 풀링 모듈 및 작업별 출력 헤드로 구성된다.
파라미터 공유: 백본 파라미터는 모든 작업에 대해 공유되지만, 작업별 출력 헤드는 필요한 조정을 허용하여 치명적 망각(catastrophic forgetting)을 완화한다.

2.3 다중 작업 협력 훈련 (Multitask Collaborative Training)

훈련 과정은 다음과 같은 협력 알고리즘(Algorithm 1)을 포함한다:

각 반복(iteration) 동안 작업들이 무작위로 샘플링된다.
선호도 벡터는 단위 초구(unit hypersphere)의 양의 직교 영역(positive orthant)에서 균등하게 샘플링된다.
모델은 **하이퍼볼륨 최대화 기반 손실 함수(PSL-HV1)**를 사용하여 최적화된다. 이 손실 함수는 하이퍼볼륨(Hypervolume, HV) 지표의 대리 형태를 최대화하여 모델이 전체 파레토 프런트를 근사하도록 유도한다.
훈련 안정성을 보장하기 위해 그래디언트 클리핑(gradient clipping)이 적용된다.

3. 주요 기여

본 논문은 다음과 같은 주요 기여를 명시한다:

통합 프레임워크: 작업 임베딩, 공유 네트워크 파라미터, 그리고 Transformer 백본을 활용하여 작업 간 관계를 모델링하는 CoAction 프레임워크를 제안한다. 이를 통해 단일 모델이 여러 문제의 파레토 집합을 동시에 학습할 수 있다.
효율성 및 표현력: 각 작업에 대한 별도의 모델 훈련 필요성을 제거함으로써 계산 비용을 줄이는 동시에, 자기 주의 집중 메커니즘을 통해 모델의 표현력을 높인다.
포괄적 평가: 벤치마크 문제(ZDT, VLMOP)와 실제 공학 응용 분야(Truss, Hatch Cover, Rocket Injector 설계)를 포함하는 다중 작업 테스트 스위트를 통해 광범위한 실험을 수행하였다.

4. 실험 결과

저자들은 세 가지 지표인 하이퍼볼륨(HV), 범위(Range), 희소성(Sparsity)을 사용하여 CoAction을 단일 작업 PSL 베이스라인 및 MLP 기반 다중 작업 베이스라인과 비교 평가하였다.

단일 작업 베이스라인 대비 성능:
- CoAction은 대부분의 문제(예: ZDT1, ZDT2, RE21, RE24)에서 HV 및 Range 측면에서 경쟁력 있거나 우수한 성능을 달성했다.
- 3-목적 함수 문제인 RE37의 경우, HV 차이는 미미했으나 프레임워크는 견고함을 입증했다.
- 계산 효율성: CoAction은 7개의 작업을 동시에 훈련했음에도 불구하고, 단일 작업 베이스라인에 비해 훈련 시간을 27% 단축했다 (370.25s 대비 270.13s).
- 안정성: 프레임워크는 실행 간 HV의 분산이 낮게 나타났으며, 이는 안정적인 수렴과 치명적 망각이 발생하지 않았음을 나타낸다.
절제 연구 (Transformer vs. MLP):
- Transformer 백본은 특히 복잡한 3-목적 함수인 RE37 문제에서 MLP 백본보다 유의미하게 우수한 성능을 보였다.
- RE37에서 Transformer는 MLP 대비 12.6% 높은 HV와 314% 높은 Range를 달est했다.
- 자기 주의 집중 메커니즘이 전역적 의존성을 포착하여 복잡한 파레토 프런트의 커버리지를 개선하는 데 기여한 것으로 분석되었다.
확장 평가:
- bbob-biobj 테스트 스위트에서 CoAction은 5가지 서로 다른 작업 쌍에 대해 일관되게 높은 HV 값을 달성하며 강력한 일반화 능력을 입증했다.
통계적 분석:
- Wilcoxon 부호 순위 검정(Wilcoxon signed-rank tests) 결과, 여러 문제(ZDT1, ZDT2, RE24)에서 CoAction이 단일 작업 베이스라인보다 HV와 Range 측면에서 통계적으로 유의미한 개선을 보임을 확인했다.
- Transformer 백본은 RE37 및 ZDT1/2에서 MLP보다 유의미한 우위를 점했다.

5. 의의 및 주장

본 논문은 CoAction이 다중 작업 환경에서 기존 PSL 방법의 확장성 및 효율성 병목 현상을 해결한다고 주장한다. 작업 임베딩과 Transformer 인코더를 통합함으로써, 이 프레임워크는 성공적으로 다음을 달성했다:

교차 작업 지식 활용: 관련 있는 최적화 문제들 사이의 공유된 구조를 활용하여 일반화 성능과 솔루션 다양성을 향상시킨다.
계산 오버헤드 감소: 각 작업에 대해 별도의 모델을 훈련하는 데 따르는 선형적인 계산 비용 증가를 제거한다.
복잡한 기하학적 구조 처리: 자기 주의 집중 메커니즘은 전통적인 MLP 백본이 솔루션 분포를 유지하기 어려워하는 복잡하고 고차원적인 파레토 프런트 기하 구조(예: RE37)에 특히 효과적임을 입证明했다.

저자들은 CoAction이 다중 목적 다중 작업 최적화를 위한 원칙적이고 효과적인 접근 방식을 제공하며, 벤치마크 및 실제 공학 응용 분야를 통해 그 유용성을 검증했다고 결론짓는다.