Are You Measuring the Failure Subspace, or Its Ceiling?

Resumo Técnico: "Você está medindo o subespaço de falha ou o seu teto?"

Enunciado do Problema
Uma afirmação empírica prevalente na literatura de Adaptação em Tempo de Teste (TTA) e Adaptação de Baixo Posto (LRA) é que o subespaço relevante para adaptar um modelo — definido pelo span de gradientes por amostra, direções de Fisher ou "direções de falha" — é surpreendentemente de baixa dimensão. Métodos como o GOLD [7] e várias técnicas de LRA baseiam-se na observação de que um pequeno número de autovetores captura a vasta maioria da energia nesses vetores de gradiente ("demandas").

No entanto, este artigo argumenta que, para as definições de demanda comumente usadas (gradientes de entropia cruzada, gradientes de entropia e o Produto Externo de Gradiente Médio ou AGOP), essa observação de "baixo posto" não é uma descoberta empírica sobre os dados ou o modo de falha, mas uma identidade algébrica. Essas demandas são matematicamente confinadas ao espaço de linhas da matriz de pesos do classificador final $W$. Consequentemente, seu posto de covariância não pode exceder o número de classes $C$ (ou $C-1$ para demandas de soma zero). O artigo postula que as estruturas de baixo posto relatadas podem ser simplesmente uma redescoberta deste teto algébrico, em vez de evidência de uma dimensão de falha intrínseca e compacta.

Metodologia
Para distinguir entre um teto algébrico e uma estrutura genuinamente de baixa dimensão, os autores empregam um design experimental controlado:

1. Provas Algébricas: O artigo estabelece três proposições que provam os tetos de posto para demandas comuns:
   • Gradientes de Entropia Cruzada (CE) e de Entropia: Confinados a um hiperplano de dimensão no máximo $C-1$ devido à propriedade de soma zero no espaço de logits.
   • AGOP: Confinado ao espaço de linhas de $W$, com um teto de posto de no máximo $C$.
2. Demanda Livre de Teto: Para medir o que reside além desses tetos, os autores constroem uma demanda "livre" ($d_{act}$) baseada em partes do espaço de ativação ($A \odot -\nabla_A L$). Esta demanda não é uma imagem de $W^\top$ e pode, teoricamente, ocupar a dimensão total do recurso ambiente $D$.
3. Varredura Controlada: Experimentos são conduzidos em subconjuntos aninhados do CIFAR-100, variando o número de classes $C$ de 2 a 100 enquanto mantêm a arquitetura, a largura do recurso ($D$), a contagem de amostras por classe e o protocolo de otimização constantes.
4. Teste de Sensibilidade de Largura: Os autores dobram a largura da representação final ($D$ de 256 para 512) em um $C=100$ fixo para testar se o posto medido é uma propriedade da tarefa ou do aparato de medição.
5. Decomposição: Vetores de demanda livre são projetados no espaço de linhas de $W$ ($P_{row(W)}d$) e em seu complemento ortogonal para analisar a distribuição de energia entre o "teto" e a "cauda".

Resultos Principais

• Demandas com Teto estão Presas ao seu Teto: Para as demandas de CE, entropia e AGOP, o posto efetivo ($r_{90}$) acompanha de perto o teto algébrico. Em $C=100$, essas demandas ocupam 55–65% de seu posto máximo possível ($C$ ou $C-1$). À medida que $C$ aumenta, a fração do teto ocupada na verdade diminui, indicando que a aparente estrutura de baixo posto em grandes $C$ é um resultado do "esvaziamento" do teto, não da emergência de uma nova estrutura.
• A Demanda Livre Excede o Teto e é Sensível à Largura: A demanda livre de teto exibe um posto efetivo que excede $C$ (ex: 41,7 em $C=20$) e cresce com $C$ a uma taxa aproximadamente o dobro das demandas com teto. Crucialmente, quando a largura do recurso $D$ é dobrada, o posto efetivo da demanda livre aumenta significamente (de 111 para 191), enquanto as demandas com teto permanecem relativamente estáveis. Isso sugere que o posto da demanda livre é uma função do tamanho do espaço ambiente, não apenas da dificuldade da tarefa.
• A Decomposição Revela uma Cauda Ampla: Projetar a demanda livre sobre $row(W)$ revela que ~74% de sua energia reside dentro do subespaço induzido pelo classificador, reproduzindo exatamente o declive espectral em $C$ visto nas demandas com teto. Os ~26% de energia restantes formam uma "cauda ampla, fracamente estruturada e sem joelho" que abrange centenas de dimensões. O posto desta cauda acompanha o tamanho do espaço ambiente, em vez de uma dimensão intrínseca compacta.
• Reavaliação do GOLD: O artigo reanalisa o método GOLD, observando que sua afirmação de "forte concentração de baixo posto" (os top 64–128 autovetores capturam >99% da energia no CIFAR-100-C) é tautológica dado o teto algébrico de $C=100$. Os números relatados refletem a ocupação do subespaço induzido pelo classificador, não uma descoberta de um manifesto de baixa dimensão oculto no espaço de recursos completo.

Significância e Alegações
O artigo conclui que a afirmação "o subespaço de adaptação é surpreendentemente de baixo posto" confunde dois objetos distintos:

1. Um Fato Algébrico: Demandas derivadas de logits são confinadas a $row(W)$ e não podem exceder o posto $C$. Isso é um teorema, não um achado.
2. Uma Hipotética Propriedade dos Dados: Uma dimensão de falha intrínseca e compacta. Os autores não encontram evidências de tal dimensão em seus experimentos; em vez disso, a remoção do teto algébrico revela uma cauda ampla e sensível à largura.

Mudança Proposta no Relato:
Os autores argumentam que relatar apenas o "posto efetivo" é insuficiente e potencialmente enganoso para demandas limitadas por teto. Eles propõem que trabalhos futuros nesta área devem relatar:

• Posto Efetivo Normalizado pelo Teto ($\rho_{ceil}$): A razão entre o posto efetivo e o teto algébrico, separando o decaimento espectral empírico das restrições algébricas.
• Parcela de Energia do Espaço de Linhas ($\rho$): A fração da energia da demanda que reside dentro de $row(W)$. Esta métrica é estável em relação à largura e quantifica diretamente a energia máxima acessível a qualquer método restrito ao espaço de linhas do classificador (que inclui a maioria dos métodos atuais de TTA/LRA).

O artigo não afirma que métodos de baixo posto sejam ineficazes, mas sim que seu sucesso não deve ser atribuído a uma "estrutura oculta de baixa dimensão" nos dados, mas sim ao fato de operarem dentro das restrições algébricas do classificador. A utilidade da "cauda" (a energia fora de $row(W)$) permanece uma questão em aberto.