🤖 machine learning

The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

이 논문은 공유된 잠재적 하드 특징(latent hard feature)을 갖는 다중 작업 문제의 공동 근사가 직교성 제약 조건 하에서도 개별 근사보다 엄격하게 적은 기술 비트(description bits)를 필요로 함을, 공유된 라데마허-하르(Rademacher-Haar) 특징과 작업별 쏘스투스-월시(Sawtooth-Walsh) 판독기의 구성적 아키텍처를 통해 최적 속도에서의 급격한 격차를 입증함으로써 정보 이론적 증명을 제공한다.

원저자: Thomas Dittrich, Oliver Potocki, Philipp Grohs

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thomas Dittrich, Oliver Potocki, Philipp Grohs

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 힘든 일을 나누어 하기

당신이 100개의 서로 다른 집(이것들은 "태스크"입니다)을 짓는 임무를 맡은 건설 회사라고 상상해 보세요.

기존 방식 (개별 근사): 당신은 100개의 서로 다른 팀을 고용합니다. 각 팀은 처음부터 시작합니다. 그들은 모두 각자 기초를 파고, 콘크리트를 붓고, 벽을 세워야 합니다. 설령 100개의 집이 모두 정확히 같은 종류의 기초를 필요로 하더라도, A팀은 B팀과 대화하지 않습니다. 그들은 각각 별도로 기초를 만듭니다. 이는 매우 비효울적입니다.
새로운 방식 (공동 근사): 당신은 한 명의 마스터 설계사와 하나의 기초 공사 팀을 고용합니다. 그들은 단 하나의 완벽한 기초를 만듭니다. 이 기초는 100개의 집 모두를 받쳐줍니다. 그 후, 100개의 작은 팀들이 그 공유된 기초 위에 각기 고유한 상층부(즉, "헤드")를 올립니다.

이 논문은 "새로운 방식"이 단순히 좋은 아이디어일 뿐만 아니라, 매우 엄격한 규칙을 추가하더라도 정보 측면에서 엄격하게 더 효율적이라는 것을 수학적으로 증명합니다. 단, 조건은 100개의 집이 특정하고 경직된 방식으로 서로 완전히 달라야 한다는 것입니다.

엄격한 규칙: "직교성(Orthogonality)" 제약

현실 세계에서 하나의 기초 위에 100개의 집을 지으면, 집들이 너무 비슷해 보일 수 있습니다. 수학과 물리학에는 직교성이라는 규칙이 있습니다. 이것을 이렇게 생각하세요: "모든 집은 그래프의 X, Y, Z 축처럼 완전히 다른 방향으로 지어져야 한다. 그들은 서로 겹치거나 어떤 '방향'도 공유해서는 안 된다."

보통 사람들은 이렇게 생각합니다: "만약 출력값이 완전히 달라야 한다면(직교한다면), 우리는 그들 사이에서 어떤 정보도 공유할 수 없다. 우리는 모든 것을 따로 만들어야 한다."

이 논문은 그 직관이 틀렸음을 증证明합니다. 이 엄격한 "중복 금지" 규칙이 있더라도, 여전히 힘든 작업은 공유할 수 있습니다.

"어려운 특징" vs "쉬운 헤드"

저자들은 이를 테스트하기 위해 특정한 수학적 퍼즐을 만들었습니다. 그들은 다음과 같은 시나리오를 가정했습니다:

어려운 부분 (기초): 설명하거나 압축하기 매우 어려운 혼란스럽고 복잡한 패턴(예: 들쭉날쭉하고 무작위적인 파동)이 존재합니다. 이를 "Rademacher-Haar" 특징이라고 부릅시다.
쉬운 부분 (헤드): 그 혼란스러운 패턴을 가져와서 100개의 서로 다른 완벽하게 구별되는 모양으로 뒤트는 단순한 도구들("Sawtooth-Walsh" 함수)이 있습니다.

함정:

만약 100개의 모양을 각각 따로 설명하려고 한다면, 당신은 그 혼란스러운 "어려운 부분"을 100번 설명해야 합니다.
만약 그것들을 공동으로 설명한다면, 혼란스러운 "어려운 부분"은 단 한 번만 설명하고, 그 후 100가지의 서로 다른 뒤틀림에 대한 지침만 나열하면 됩니다.

결과: 엄청난 절약

논문은 이 모양들을 설명하는 데 필요한 "비트(정보 단위)"가 정확히 얼마나 되는지 계산합니다.

개별 접근 방식: 당신은 어려운 혼돈의 비용을 100번 지불합니다.
공동 접근 방식: 당신은 어려운 혼돈의 비용을 단 한 번만 지불하고, 그 후 100가지의 서로 다른 뒤틀림을 위한 지침만 추가합니다.

결과는 어떠할까요? 공동 접근 방식은 대략 M/4 배 더 효율적입니다 (여기서 M은 태스크의 수입니다). 만약 태스크가 100개라면, 공동 방식은 엄청난 양의 "설명 공간"을 절약합니다.

"신경망"과의 연결

저자들은 단순히 추상적인 수학만 다룬 것이 아니라, 신경망(현대 AI의 두뇌)이 어떻게 이를 수행하는지 보여주었습니다.

그들은 혼란스러운 패턴을 학습하는 공유된 "트렁크"(기초)를 가진 네트워크를 구축했습니다.
그들은 특정 뒤틀림을 적용하는 M개의 서로 다른 "헤드"(리드아웃)를 부착했습니다.
그들은 네트워크가 엄격한 기하학적 규칙을 따르도록 강제되더라도, "트렁크"가 여전히 힘든 작업을 수행하며 "헤드"는 마무리 작업만 수행한다는 것을 증명했습니다.

"왜 중요한가" (과장 없이)

AI 세계에서 우리는 종로 종종 "파운데이션 모델"(챗봇 뒤에 있는 모델들 같은 것)을 사용합니다. 이 모델들은 일반적인 표현을 한 번 학습한 다음, 이를 많은 특정 태스크에 적응시킵니다.

논문의 주장: 이것이 작동하는 이유는 단순히 통계나 운 때문이 아니라, 정보 이론 때문입니다. 여러 태스크가 숨겨진, 설명하기 어려운 특징을 공유한다면, 그 특징을 매번 반복해서 설명하는 것보다 한 번 설명하고 재사용하는 것이 수학적으로 더 저렴합니다.
반전: 심지어 태스크들이 수학적으로 "직교하도록"(완전히 구별되도록) 강제되더라도, 이러한 효율성 이득은 여전히 존재합니다. 제약 조건이 공유의 이점을 없애지는 못합니다.

요약 비유

당신이 100명의 친구에게 메시지를 보내려고 한다고 상상해 보세요.

메시지: 매우 길고 복잡하며 무작위적인 숫자 배열 (어려운 특징).
규칙: 각 친구는 서로 완전히 달라 보이는 메시지를 받아야 한다 (직교성).
개별 방식: 당신은 긴 무작위 문자열을 100번 쓰고, 그 후 각 메시지가 서로 달라 보이게 만들기 위해 아주 작은 메모를 추가합니다. 당신은 100통의 거대한 편지를 보냅니다.
공동 방식: 당신은 긴 무작위 문자열을 단 한 번 씁니다. 그 후 100개의 봉투 각각에 서로 다른 "해독 키"를 붙입니다. 당신은 100통의 작은 편지를 보냅니다.

논문은 공동 방식이 최종 메시지가 완전히 달라 보여야 한다는 규칙이 있더라도, 진정으로 효율적일 수 있는 유일한 방법임을 증명합니다. "비용"은 해독 키가 아니라 무작위 문자열에 있기 때문입니다.

기술 요약: 직교성 제약 조건 하에서의 공유 표현의 정보 이론적 이점

문제 정의
현대 딥러닝 아키텍처, 특히 파운데이션 모델은 단일 백본이 여러 태스크 특화 헤드를 위해 특징을 추출하는 공유 표현(shared representations)에 점점 더 의존하고 있다. 실험적 증거는 공동 다중 작업 학습(joint multi-task learning)이 별도의 단일 작업 학습(single-task learning)보다 우수함을 시사하지만, 공동 근사와 별도 근사 사이의 *매개변수 복잡도(parametric complexity)*에 대한 엄밀한 이론적 이해는 제한적이다. 이러한 격차는 모델이 과학적 머신러닝(예: 보존 법칙이나 등변성을 보장하는 경우)에서 흔히 나타나는 직교성과 같은 구조적 제약을 충족해야 할 때 특히 두드러진다. 본 연구가 다루는 핵심 질문은, 벡터 값 함수 $F = (f_1, \dots, f_M)$ 의 공동 근사가 구성 요소들이 직교 제약을 받더라도, $M$ 개의 별도 근사보다 엄격하게 더 나은 근사율을 달вле할 수 있는가 하는 것이다. 저자들은 과학적 응용 분야에서 임의의 샘플링 측도에 독립적으로 오차 보장이 유지되어야 하는 영역인 균등 노름( $L^\infty$ ) 체계에서 이를 조사한다.

방법론
저자들은 함수 클래스를 근사하는 데 필요한 기술 길이(description length)를 정량화하기 위해 유한 비트 이산화(finite-bit discretization, 코덱 이론)에 기반한 정보 이론적 프레임워크를 채택한다. 이들은 공유 특징과 태스크 특화 출력 간의 복잡도를 분리하도록 설계된 특정 직교 벡터 값 함수를 구축한다.

함수 클래스 구축:
- 공유 특징: 핵심적인 난이도는 스칼라 라데마허-하르 웨이브릿 급수(Rademacher-Haar wavelet series) $g$ 에 내재되어 있다. 이 급수의 계수들은 독립적인 부호들의 다이adic 트리(dyadic tree)를 형성하며, 이는 미해결된 꼬리 부분이 대부분의 복잡성을 보유하게 함으로써 균등 근사에 있어 "어려운" 타겟을 생성한다.
- 직교 헤드: 공유 정보를 제거하지 않으면서 직교성을 강제하기 위해, 저자들은 $g$ 를 쏘스투스-월시(Sawtooth-Walsh) 함수와 합성한다. 이 출력 함수 $f_i$ 들은 출력들을 탈상관화(ensuring $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$ )하는 비선형 맵인 동시에, 공유 특징 $g$ 내의 근사 난이도는 그대로 보존한다.
- 합성: 타겟 클래스는 $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$ 이다.
코딩 방식:
- 별도 코딩(Separate Coding): 각 좌표 $f_i \circ g$ 를 개별적으로 근사하기 위해 각각 $n_i$ 의 비트 예산을 할당받은 $M$ 개의 독립적인 인코더/디코더 쌍.
- 공동 코딩(Joint Coding): 전체 벡터 함수를 동시에 근사하기 위해 총 비트 예산 $N = M \cdot \min(n_i)$ 를 사용하는 단일 인코더/디코더 쌍.
신경망 실현:
- 추상적인 코덱 이론과 신경망 사이의 간극을 메우기 위해, 저자들은 명시적인 헤비사이드(Heaviside) 활성화 네트워크를 구축한다. 이들은 절단된 하르 웨이브릿의 조각별 상수(piecewise constant) 특성과 쏘스투스-월시 함수의 특성을 활용한다.
- 점별 곱셈(공성 $f_i \circ g$ 를 위한 필수 과정)은 재귀적 삼각형 파형 근사(Yarotsky, 2017 기반)를 통해 구현되며, 이를 통해 공유 특징의 꼬리와 고정된 출력 간의 곱을 근사한다.

주요 결과
본 논문은 구축된 클래스에 대해 공동 코딩과 별도 코딩 사이의 근사율에서 뚜렷한 격차를 입증한다:

이론적 격차 (정리 8): 공유 라데마커-하르 특징에 의해 생성되는 $M$ 개의 직교 함수 클래스에 대해, 최적의 별도 근사 오차와 최적의 공동 근사 오차의 비율은 다음과 같이 하한이 정해진다:
$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$
점근적으로, 이는 $M/4$ 차수의 격차를 나타낸다. 이는 별도의 코덱이 공유된 "어려운" 특징을 각 좌표마다 한 번씩, 총 $M$ 번 인코딩해야 하는 반면, 공동 코덱은 출력의 직교성 제약에도 불구하고 이를 단 한 번만 인코딩함을 보여준다.
절단의 최적성: 저자들은 라데마커-하르 급수를 절단하는 것이 이 클래스에 대한 최적의 유한 비트 이산화 맵임을 증명하며, 정확한 상수를 포함한 명시적인 상한 및 하한을 제공한다. 이는 점근적 메트릭 엔트로피 추정에 의존하는 것을 피한다.
신경망 실현 (따름정리 19): 이 격차는 명시적인 헤비사이드 신경망에 의해 실현된다. 공유 트렁크(하르 특징을 인코딩)와 고정된 리드아웃 헤드를 가진 공동 아키텍처는 최적의 공동 코덱과 동일한 비트 경제성을 달성한다. 반대로, 일치된 총 기술 길이를 가진 $M$ 개의 별도 네트워크는 $O(M)$ 의 성능 저하를 겪는다.

의의 및 주장
저자들은 기하학적 제약(예: 직교성) 하에서의 근사 이론적 관점에서 공유 표현의 이점에 대한 최초의 엄밀한 수학적 처리를 제공한다고 주장한다.

중복성 논거 반박: 이 결과는 공동 학습의 이점이 단순히 통계적 평균화, 선형 중복성, 또는 분포 가설의 부산물이 아님을 명확히 한다. 대신, 이 이득은 공유된 잠재 특징을 $M$ 번 인코딩하는 대신 단 한 번 인코딩함으로써 얻어지는 정보 복잡도의 감소에서 엄격하게 기인한다.
직교성 호환성: 직교성 제약이 공유 표현의 효율성을 저해하는 것으로 간주되곤 하지만, 본 연구는 이러한 제약이 공유 표현의 이점을 배제하지 않음을 보여준다. 제약을 비선형 출력 헤드로 옮김으로써, 공유 특징은 근사 난이도의 유일한 원천으로 남게 된다.
파운데이션 모델에 대한 통찰: 이 연구는 파운데이션 모델의 "공유 트렁크, 다중 헤드" 아키텍처에 대한 이론적 정당성을 제공한다. 이는 출력이 엄격한 물리적 또는 기하학적 제약(예: 직교성)을 만족해야 하는 경우에도, 태스크들이 잠재 구조를 공유한다면 비용이 많이 드는 특징 추출을 분담(amortize)할 수 있음을 시사한다.

논문은 이 메커니즘이 특정 구성 클래스(라데마커-하르와 쏘스투스-월시)에 대해 증명되었음을 언급하며 겸손하게 마무리한다. 즉, 이 $M$ 배의 격차가 더 넓은 범위의 신경망, 더 매끄러운 특징, 또는 다른 제약 조건(예: 등변성)에 대해서도 지속되는지 여부는 여전히 미해결 과제로 남아 있다.