The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

Resumo Técnico: O Benefício Informacional-Teórico de Representações Compartilhadas sob Restrições de Ortogonalidade

Definição do Problema
Arquiteturas modernas de aprendizado profundo, particularmente modelos fundacionais, dependem cada vez mais de representações compartilhadas, onde um único backbone extrai características para múltiplas cabeças específicas de tarefas. Embora evidências empíricas sugorem que o aprendizado multitarefa conjunto supera o aprendizado de tarefas separadas, a compreensão teórica rigorosa da complexidade paramétrica da aproximação conjunta versus a separada permanece limitada. Esta lacuna é particularmente aguda quando os modelos devem satisfazer restrições estruturais, como a ortogonalidade, que são comuns no aprendizado de máquina científico (por exemplo, garantir leis de conservação ou equivariância). A questão central abordada é se uma aproximação conjunta de uma função vetorial-valorada $F = (f_1, \dots, f_M)$ pode alcançar uma taxa de aproximação estritamente melhor do que $M$ aproximações separadas de seus componentes, mesmo quando os componentes estão restritos a serem ortogonais. Os autores investigam isso na norma uniforme ($L^\infty$), um regime crítico para aplicações científicas onde garantias de erro devem ser válidas em quaisquer localizações espaciais ou temporais, independentemente de medidas de amostragem.

Metodologia
Os autores empregam um arcabouço informacional-teórico baseado em discretização de bits finitos (teoria de codec) para quantificar o comprimento de descrição necessário para aproximar classes de funções. Eles constroem uma classe específica de funções ortogonais e vetoriais-valoradas projetada para isolar a complexidade do recurso compartilhado das leituras específicas da tarefa.

1. Construção da Classe de Funções:

   • Recurso Compartilhado (Shared Feature): A dificuldade central é embutida em uma série de ondas de Haar-Rademacher escalar $g$. Os coeficientes desta série formam uma árvore dicotômica de sinais independentes, criando um alvo "difícil" para aproximação uniforme, onde a cauda não resolvida carrega a maior parte da complexidade.
   • Cabeças Ortogonais: Para impor a ortogonalidade sem eliminar a informação compartilhada, os autores compõem $g$ com funções de Sawtooth-Walsh. Estas leituras, $f_i$, são mapas não lineares que decorrelacionam as saídas (garantindo $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$) enquanto preservam a dificuldade de aproximação dentro do recurso compartilhado $g$.
   • Composição: A classe alvo é $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$.

2. Esquemas de Codificação:

   • Codificação Separada: $M$ pares independentes de codificador/decodificador, cada um alocado um orçamento de bits $n_i$, aproximando cada coordenada $f_i \circ g$ individualmente.
   • Codificação Conjunta: Um único par codificador/decodificador com um orçamento total de bits $N = M \cdot \min(n_i)$ aproximando toda a função vetorial simultaneamente.

3. Realização por Redes Neurais:

   • Para transpor a lacuna entre a teoria de codec abstrata e as redes neurais, os autores constroem redes explícitas de ativação Heaviside. Eles utilizam a natureza de degraus constantes das ondas de Haar-Rademacher truncadas e das funções de Sawtooth-Walsh.
   • A multiplicação ponto a ponto (necessária para a composição $f_i \circ g$) é realizada via uma aproximação recursiva de onda triangular (baseada em Yarotsky, 2017), permitindo que a rede aproxime o produto da cauda do recurso compartilhado e as leituras fixas.

Principais Resultados
O artigo estabelece uma separação nítida nas taxas de aproximação entre a codificação conjunta e a separada para a classe construída:

• Lacuna Teórica (Teorema 8): Para uma classe de $M$ funções ortogonais geradas por um recurso compartilhado de Rademacher-Haar, a razão entre o erro de aproximação separada ideal e o erro de aproximação conjunta ideal é limitada inferiormente por:
  $$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$$
  Assintoticamente, isso resulta em uma lacuna de ordem $M/4$. Isso demonstra que um codec separado deve codificar o recurso "difícil" compartilhado $M$ vezes (uma vez por coordenada), enquanto um codec conjunto o codifica apenas uma vez, independentemente da restrição de ortogonalidade nos resultados.

• Otimalidade da Truncagem: Os autores provam que a truncagem da série de Rademacher-Haar é um mapa de discretização de bits finitos ótimo para esta classe, fornecendo limites superiores e inferiores explícitos com constantes exatas. Isso evita a dependência de estimativas assintóticas de entropia métrica.

• Realização por Redes Neurais (Corolário 19): A separação é realizada por redes neurais Heaviside explícitas. Uma arquitetura conjunta com um tronco compartilhado (codificando o recurso de Haar) e cabeças de leitura fixas alcança a mesma economia de bits do codec conjunto ideal. Por outro lado, $M$ redes separadas com comprimento de descrição total correspondente sofrem a degradação de ordem $O(M)$ na taxa de aproximação.

Significância e Alegações
Os autores alegam fornecer o primeiro tratamento matemático rigoroso do benefício das representações compartilhadas sob uma perspectiva de teoria da aproximação, especificamente sob restrições geométricas como a ortogonalidade.

• Refutação de Argumentos de Redundância: Os resultados esclarecem que a vantagem do aprendizado conjunto não é meramente um artefato de média estatística, redundância linear ou suposições distributivas. Em vez disso, o ganho advém estritamente da redução na complexidade da informação alcançada ao codificar um recurso latente compartilhado uma única vez, em vez de $M$ vezes.
• Compatibilidade com Ortogonalidade: O estudo demonstra que restrições de ortogonalidade, frequentemente vistas como restritivas, não impedem a eficiência das representações compartilhadas. Ao mover a restrição para as cabeças de leitura não lineares, o recurso compartilhado permanece como a única fonte de dificuldade de aproximação.
• Insight sobre Modelos Fundacionais: O trabalho oferece uma justificativa teórica para a arquitetura de "tronco compartilhado, múltiplas cabeças" em modelos fundacionais. Sugere que, mesmo quando os resultados devem satisfazer estritas restrições físicas ou geométricas (como a ortogonalidade), a extração de características dispendiosa pode ser amortizada entre as tarefas, desde que as tarefas compartilhem uma estrutura latente.

O artigo conclui modestamente, observando que, embora o mecanismo seja provado para esta classe construtiva específica (Sawtooth-Walsh com Rademacher-Haar), identificar se essa separação de fator-$M$ persiste para classes mais amplas de redes neurais, recursos mais suaves ou outras restrições (por exemplo, equivariância) permanece como um problema em aberto.