🤖 machine learning

FLARE++: Low-rank attention with dynamic attention routing

FLARE++는 추가적인 인코딩 단계를 통해 동적이고 입력 조건부인 토큰 라우팅을 도입함으로써 불규칙한 도메인에서의 PDE 대리 모델의 효율성을 향상시키는 저계수 어텐션 아키텍처로, 선형 복잡도를 유지하고 확장 가능한 멀티 GPU 구현을 지원하면서 고정 쿼리 베이스라인 대비 경쟁력 있는 정확도 개선을 달성한다.

원저자: Vedant Puri, Yongjie Jessica Zhang, Levent Burak Kara

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Vedant Puri, Yongjie Jessica Zhang, Levent Burak Kara

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 사물이 어떻게 움직이고, 흐르고, 늘어나는지를 예측하도록 가르치려 한다고 상상해 보십시오. 예를 들어 레이스카 주변을 휘몰아치는 바람, 파이프를 통과하는 물의 흐름, 또는 다리에 쌓이는 응력 같은 것들 말입니다. 과학계에서는 이를 편미분 방정식(PDE)이라고 부릅니다. 이를 해결하기 위해 컴퓨터는 대상을 수백만 개의 작은 점, 즉 '토큰'으로 나눈 뒤, 각 점이 서로 대화하여 최종적인 그림을 그려내도록 요청합니다. 이는 마치 모든 학생이 퍼즐을 풀기 위해 서로에게 비밀을 속삭여야 하는 거대한 교실과 같습니다. 이 "전체 주의(full attention)" 방식은 믿을 수 없을 정도로 정확하지만, 매우 고됩니다. 만약 점이 백만 개라면, 필요한 속삭임의 횟수는 너무 빠르게 증가하여 일반적인 컴퓨터로는 실행이 불가능해집니다. 과학자들은 이 문제를 해결할 지름길을 찾아왔습니다. 바로 점들이 직접 모두와 대화하는 대신 효율적으로 대화할 수 있는 방법입니다. 그들은 "저차원 주의(low-rank attention)"라는 기술을 발견했습니다. 이 방식에서 점들은 모든 사람과 직접 대화하는 대신, 소수의 "요약자(latent tokens)"에게 메시지를 보내고, 이 요약자들이 응축된 소식을 다시 점들에게 전달합니다. 이는 마치 학급 대표가 반 전체의 이야기를 듣고 나서 핵심 내용만을 반 친구들에게 전달하는 것과 같습니다.

이 논문은 이 지름길의 새로운 버전인 **FLARE++**를 소개합니다. 기존의 지름길(FLARE)에는 작은 결함이 있었습니다. 바로 "요약자"들이 고정되어 있었다는 점입니다. 그들은 어떤 문제에 직면하더라도 변하지 않는 미리 작성된 템플릿과 같았습니다. 모델링하는 대상이 다리이든 폭풍이든, 동일한 요약자들이 일을 처리하려 했습니다. 저자들은 이것이 한계가 있다는 점을 깨달았습니다. 그들은 FLARE++를 구축했는데, 여기서는 요약자들이 당면한 문제에 맞춰 즉석에서 생성됩니다. 정적인 템플릿을 사용하는 대신, FLARE++는 현재 상황을 살펴보고 맞춤형 요약자 세트를 생성한 뒤 이를 사용하여 정보를 조직합니다. 그 결과, 이 시스템은 기존 방식만큼 빠르면서도 훨씬 더 똑똑합니다. 표준 공학 문제 테스트에서 이 새로운 동적 접근 방식은 고정된 버전에 비해 오류를 평균 24% 감소시켰으며, 일반적인 언어 작업에서도 성능을 개선하여 이 "맞춤형 요약자" 기술이 물리 시뮬레이션 외의 분야에서도 작동함을 증명했습니다.

문제점: "속삭이는" 교실

10만 명의 사람들(토큰)로 가득 찬 거대한 경기장에 있다고 상상해 보십시오. 당신은 모든 좌석의 온도를 알아야 합니다. 기존 방식(Full Self-Attention)에서는 모든 사람이 다른 모든 사람에게 "당신의 온도는 얼마입니까?"라고 묻고 그 모든 답변을 결합해야 합니다. 이는 믿을 수 없을 정도로 정확하지만, 물류 측면에서는 악몽입니다. 인원이 두 배로 늘어나면 대화의 횟수는 네 배로 늘어납니다. 이는 마치 모든 사람이 서로 악수를 해야 하는 파티를 조직하는 것과 같습니다. 결국 시간과 공간이 부족해지게 됩니다.

이를 해결하기 위해 과학자들은 "중간 매개자" 시스템을 발명했습니다. 모든 사람이 서로 대화하는 대신, 군중은 100명의 소수 "대표자(latent tokens)"를 뽑습니다. 모든 사람은 자신의 온도를 가장 가까운 대표자에게 전달합니다. 대표자들은 정보를 혼합한 뒤 군중에게 결과를 알려줍니다. 이 방식은 훨씬 빠릅니다. 하지만 이 시스템의 원래 버전(FLARE)에는 엄격한 규칙이 있었습니다. 대표자들은 게임이 시작되기 전에 이미 선정된, 항상 동일한 100명의 사람들이라는 점입니다. 그들은 부드러운 미풍부터 허리케인까지 모든 상황을 동일한 전략으로 해석해야 하는 고정된 스카우트 팀과 같았습니다. 때때로 고정된 팀은 기이하거나 복잡한 상황에 충분히 적응하지 못할 수 있습니다.

해결책: "카멜레온" 요약자

이 논문의 저자들은 간단한 질문을 던졌습니다. 만약 대표자들이 방 안에 누가 있느냐에 따라 변할 수 있다면 어떻게 될까?

**FLARE++**가 등장했습니다. FLARE++는 미리 설정된 100명의 대표자 팀을 사용하는 대신, 먼저 군중을 살핍니다. 시스템은 현재 상황을 빠르게 스캔하여 맞춤형 "라우팅 쿼리(routing queries)" 세트를 합성합니다. 이것은 새로운 임시 대표자들을 위한 지침서가 됩니다.

실제 작동 방식은 다음과 같습니다:

스캔: 시스템은 입력값(점들의 군중)을 받아 빠르게 계산을 수행하여 맞춤형 "라우팅 쿼리" 세트를 생성합니다.
모으기: 군중은 자신들의 데이터를 이 맞춤형 대표자들에게 보냅니다.
재배포: 대표자들은 데이터를 혼합하여 다시 군중에게 전달합니다.

놀라운 점은 이 모든 과정이 여전히 매우 빠르게 진행된다는 것입니다. 논문에 따르면, FLARE++가 맞춤형 대표자를 만들기 위해 약간의 추가 작업을 수행함에도 불구하고, 이것이 속도를 저하시킬 만큼 유의미하지 않다는 것을 보여줍니다. 사실, 대표자들이 특정 문제에 더 적합하기 때문에 시스템은 실수를 훨씬 적게 범합니다.

연구 결과

연구팀은 비행기 날개가 공기를 다루는 방식(Airfoil)부터 다공성 암석을 통과하는 물의 흐름(Darcy)에 이르기까지 다섯 가지 공학적 과제를 대상으로 FLARE++를 테스트했습니다. 그들은 이를 기존의 고정형 FLARE 시스템 및 다른 인기 있는 방법들과 비교했습니다.

더 높은 정확도: FLARE++는 고정형 FLARE 시스템에 비해 평균 **24%**의 오류율을 감소시켰습니다. 재료가 어떻게 늘어나는지를 시뮬레이션하는 "탄성(Elasticity)" 문제와 같은 특정 테스트에서는 정확도가 거의 45% 더 높았습니다.
깊이 vs 너비: 연구진은 FLARE++가 적절한 대표자를 선택하는 능력이 매우 뛰어나서, 기존 시스템과 동일한 정확도를 달eli 위해 절반의 층(layers)(또는 "깊이")만 사용해도 된다는 것을 발견했습니다. 이는 더 오래 공부하는 대신 더 똑똑하게 공부하여 시험에서 같은 성적을 받는 것과 같습니다.
일반적 기술: 그들은 또한 "Long Range Arena"라는 일반적인 언어 퍼즐에 대해서도 테스트를 진행했습니다. 이것이 물리 문제가 아님에도 불구하고, FLARE++는 평균 2.3점의 점수 향상을 보였으며, 이는 "맞춤형 요약자" 기술이 물리뿐만 아니라 다양한 유형의 데이터에 적용될 수 있는 강력한 도구임을 보여줍니다.

비용과 제약

부작로가 있을까요? 논문은 트레이드오프(trade-offs)에 대해 솔직하게 밝히고 있습니다. 맞춤형 대표자를 만드는 데는 고정형 버전보다 약 1.3배에서 1.5배 정도 더 많은 시간이 걸립니다. 하지만 시스템이 훨씬 더 정확하기 때문에, 좋은 결과를 얻기 위해 시스템을 더 오래 혹은 더 깊게 실행할 필요가 없습니다. 저자들은 강력한 그래픽 카드(NVIDIA H100)에서 이를 측정하였고, 추가되는 시간이 품질의 도약에 비하면 충분히 가치가 있다는 것을 확인했습니다.

또한 여러 대의 컴퓨터에서 동시에 실행될 수 있는 특별한 버전을 구축했습니다. 점들의 군중을 여러 머신에 나누어 배치했으며, "맞춤형 대표자"는 모든 점을 하나의 머신으로 모으지 않고도 생성되었습니다. 이는 시스템이 메모리 부족 없이 거대한 문제(수백만 개의 점)를 처리할 수 있게 하여, 문제가 커지더라도 높은 효율성을 유지하게 해줍니다.

결론

FLARE++는 바퀴를 새로 발명한 것이 아니라, 바퀴살을 조절 가능하게 만든 것입니다. 시스템이 무엇을 보고 있는지에 따라 정보를 요약하는 방법을 결정하게 함으로써, 일률적인 접근 방식의 한계를 극계하고 복잡한 물리 문제를 더 빠르고 정확하게 해결합니다. 이 논문은 이러한 동적 라우팅이 중요한 진전임을 시사하며, AI와 물리 세계에서 유연함이 고정됨보다 더 낫다는 것을 입증하고 있습니다.

기술 요약: FLARE++: 동적 어텐션 라우팅을 이용한 저차원 어텐션(Low-Rank Attention)

문제 정의
전체 셀프 어텐션(Full self-attention) 메커니즘은 불규칙한 도메인에서의 편미분 방정식(PDE) 대리 모델(surrogates)에 있어 지배적인 역할을 해왔는데, 이는 모든 이산화 지점(토큰)이 서로 통신할 수 있게 해주기 때문입니다. 그러나 이러한 일반성은 토큰 수 $N$ 에 대해 이차적인 계산 비용( $O(N^2)$ )을 발생시켜, 공학 문제에서 전형적으로 나타나는 고해상도 메쉬(mesh) 처리를 불가능하게 만듭니다. FLARE와 같은 효율적인 잠재 어텐션(latent-attention) 모델은 $N$ 개의 토큰을 $M \ll N$ 개의 학습된 잠재 쿼리로 라우팅함으로써 비용을 선형 $O(NM)$으로 줄이지만, 이들은 '라우팅 쿼리가 고정된 파라미터'라는 경직성 문제를 안고 있습니다. 일단 훈련되면, 이 쿼리 템플릿은 특정 기하학적 구조나 경계 조건에 관계없이 모든 입력에 대해 정적으로 유지됩니다. 결과적으로, "압축 템플릿"(정보를 수집하고 재분배하는 방식)이 처리 중인 특정 필드로부터 분리(decoupled)됩니다.

방법론: FLARE++
FLARE++는 **동적 토큰 라우팅(dynamic token routing)**을 도입하여 이러한 한계를 해결합니다. 고정된 학습 파라미터를 라우팅 쿼리로 사용하는 대신, FLARE++는 이러한 쿼리를 입력 토큰으로부터 동적으로 합성합니다.

이 아키텍처는 FLARE의 명시적인 저차원 인수분해(low-rank factorization)와 인코드-디코드(encode–decode) 구조를 유지하며, 이는 두 번의 스케일드 닷 프로덕트 어텐션(SDPA) 호출로 구성됩니다:

동적 쿼리 합성: FLARE++는 자체 인코더 메커니즘을 재사용합니다. 학습된 잠재 시드( $\tilde{Q}_h$ )는 추가적인 SDPA 호출의 쿼리로 작용하여 $N$ 개의 입력 토큰을 $M$ 개의 입력 조건부 벡터로 수집합니다. 이 $M$ 개의 벡터는 메인 어텐션 블록을 위한 라우팅 쿼리( $Q_h(X)$ ) 역할을 합니다.
인코드-디코드 라우팅: 합성된 쿼리 $Q_h(X)$ 는 표준 FLARE 인코드-디코드 쌍에서 사용됩니다. 인코더는 $N$ 개의 입력 토큰을 $M$ 개의 잠재 값으로 수집하고, 디코더는 이 값들을 $N$ 개의 출력 위치로 다시 분산(scatter)시킵니다.

이러한 접근 방식은 라우팅 가중치가 현재의 입력 필드에 의해 결정되도록 보장하여, 압축 템플릿이 각 샘플의 특정 기하학 및 경계 조건에 적응할 수 있게 합니다. 결정적으로, 이 방법은 별도의 잠재 단계(Transolver와 달리)를 도입하지 않으며, 잔차 스트림(residual stream)의 깊이나 너비를 추가하지도 않습니다. 라우팅 행렬은 임의의 고정된 입력에 대해 명시적으로 rank- $M$ 을 유지하며, 복잡도는 여전히 선형 $O(NM)$입니다.

주요 기여

합성된 압축 템플릿: FLARE++는 표준 SDPA를 사용하여 입력 토큰으로부터 라우팅 쿼리를 구축함으로써, 입력이 어떻게 압축되고 재분배될지를 결정하도록 합니다. 이는 잔차 깊이를 늘리지 않고도 FLARE의 명시적 rank- $M$ 연산자와 융합된(fused) SDPA 구현을 보존합니다.
멀티 GPU 컨텍스트 병렬성: 저자들은 정확한 토큰 샤딩(token-sharded) 구현을 제공합니다. 입력 토큰은 여러 장치에 분산되며, 인코더는 이를 복제된 잠재 토큰으로 수집합니다. 통신은 잠재 출력과 소프트맥스 통계량으로 제한되어, 단일 장치로 전체 $N$ -토큰 시퀀스를 모으는 과정 없이도 높은 병렬 효율성을 유지합니다. 이는 시간과 메모리 측면 모두에서 유니티(unity)에 가까운 병렬 효율성을 유지합니다.
포괄적 평가: FLARE++를 고정 쿼리 방식의 FLARE, Transolver 제품군, 그리고 전체 셀프 어텐션과 함께 표준 PDE 벤치마크 및 Long Range Arena(LRA)에서 평가했습니다.

결과

PDE 대리 모델 벤치마크: 5가지 표준 벤치마크(Elasticity, Darcy, Airfoil, Pipe, DrivAerML-40K)에서 FLARE++는 테스트된 모든 모델 중 가장 낮은 상대적 $L_2$ 오차를 달 기록했습니다. FLARE++는 고정 쿼리 FLARE의 상대적 $L_2$ 오차를 평균 24% 감소시켰으며, Transolver-3의 오차를 평균 31% 감소시켰습니다.
효율성 대 정확도 트레이드오프: 단일 FLARE++ 블록은 추가적인 프로젝션과 SDPA 호출로 인해 FLARE 블록보다 1.3~1.5배의 스텝 시간이 더 소요되지만, FLARE++는 훨씬 적은 수의 잔차 블록만으로도 주어진 정확도에 도달합니다. 예를 들어, Elasticity 벤치마크에서 FLARE++는 FLARE의 절반 수준의 잔차 깊이만으로 동일한 정확도를 달성합니다.
잠재 예산(Latent Budget) 동작: 근본적으로 저차원인 Elasticity 벤치마크에서, 고정 쿼리 FLARE는 포화되거나 성능이 저하되는 반면, FLARE++는 잠재 예산 $M$ 이 증가함에 따라 계속해서 성능이 향상됩니다. Rank-limited한 Darcy 벤치마크에서도 두 모델 모두 더 큰 $M$ 의 혜택을 받지만, FLARE++가 예산으로부터 더 많은 가치를 추출해냅니다.
Long Range Arena: PDE 이외의 영역에서도 FLARE++는 LRA 벤치마크에서 FLARE 아키텍처의 평균 정확도를 2.3 포인트 개선하여, 동적 라우팅 메커니즘이 PDE 이산화에만 국한되어 튜닝된 것이 아님을 입증했습니다.
스케일링: 토큰 샤딩 구현은 최대 4개의 NVIDIA H100 GPU에 걸쳐 시간 측면에서 0.92–0.98, 메모리 측면에서 0.95–0.98의 병렬 효율성을 달-성하며, 이를 통해 최대 $10^6$ 개의 점을 가진 메쉬에서도 학습이 가능합니다.

의의
본 논문은 저차원 어텐션에서 "압축 템플릿"이 입력 의존적이어야 하는 핵심 요소임을 FLARE++가 보여준다고 주장합니다. 입력 필드로부터 라우팅 쿼리를 합성함으로써, 모델은 네트워크의 깊이나 너비를 늘리지 않고도 특정 샘플에 맞게 저차원 병목(bottleneck)을 적응시켜 성능을 향상시킵 만큼의 정확도를 높입니다. 이 연구는 동적 라우팅의 이점을 다른 아키텍처적 변화와 분리하여, 단순히 잠재 처리뿐만 아니라 템플릿의 구축 자체가 성능 향상을 주도한다는 것을 보여줍니다. 나아가, 성공적인 멀리 GPU 구현은 이러한 동적 저차원 연산이 전체 셀프 어텐션의 메모리 병목 현상 없이 산업적 해상도의 메쉬로 확장될 수 있음을 증명합니다.

문제점: "속삭이는" 교실

해결책: "카멜레온" 요약자

연구 결과

비용과 제약

결론

유사한 논문