Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension

Resumo Técnico: A Contagem de Apagamento Iterativo Não é uma Dimensão de Conceito Invariante por Afim

Problema

O artigo aborda uma ambiguidade fundamental na interpretação da "dimensão de conceito" dentro de representações neurais. Um método operacional comum para estimar quantas direções uma representação utiliza para codificar um conceito envolve o apagamento iterativo: ajustar um probe linear, remover sua direção (via projeção no espaço nulo), reajustar e contar o número de etapas até que o probe falhe. A literatura recente tem interpretado essa contagem de parada ou o rank cumulativo removido como uma dimensão intrínseca e semântica do conceito (sugerindo, por exemplo, que um conceito está distribuído em "dezenas" de direções).

Os autores argumentam que essa interpretação é falha. Eles demonstram que a contagem de apagamento iterativo não é uma propriedade intrínseca do conceito ou do conteúdo informacional da representação. Em vez disso, é um estimando relativo ao procedimento que muda sob reparametrizações invertíveis (como cisalhamentos/shears) que preservam todas as previsões lineares e a informação. Consequentemente, a contagem não fornece uma medida livre de coordenadas da dimensionalidade semântica.

Metodologia

O artigo emprega uma combinação de análise teórica de população, simulações de amostra finita e estudos de caso visuais para distinguir quantidades distintas frequentemente confundidas sob o rótulo de "dimensão".

1. Construção de População Teórica:

   • Os autores definem cinco quantidades distintas: dimensão geradora, dimensão linear suficiente, rank de autocovariância, contagem de apagamento iterativo e rank de guarda linear.
   • Eles constroem um modelo de população onde um escalar $S$ gera um rótulo $Y$, misturado com variáveis de ruído (nuisance) independentes $N$ através de uma matriz invertível $A$.
   • Neste modelo, a dimensão linear suficiente e o rank mínimo de guarda são fixos em 1 (ou $r$ para casos multivariados), independentemente da matriz de mistura $A$.
   • Eles analisam o comportamento do apagamento iterativo sob diferentes métricas (Euclidiana vs. covariância transportada) e esquemas de regularização (ridge, OLS).

2. Análise de Equivariância Afim:

   • O artigo prova que, embora a trajetória completa de um procedimento de apagamento possa ser tornada afim-equivariante se a métrica, o probe, o regularizador e as regras de desempate forem consistentemente transportados, a contagem de apagamento Euclidiana padrão não é.
   • Especificamente, eles mostram que um cisalhamento (shear) invertível altera a trajetória de apagamento Euclidiana, alterando o número de etapas necessárias para remover o conceito, embora a informação subjacente permaneça inalterada.

3. Experimentos Visuais e de Amostra Finita:

   • Ponte Circular (Circular Bridge): Uma simulação de amostra finita usando um alvo circular (prevendo $\sin \theta, \cos \theta$) com um otimizador Adam e remoção full-QR. Isso mimetiza o procedimento usado em estudos recentes de modelos de mundo de vídeo.
   • Estudo de Caso Visual: Os autores auditam características congeladas de V-JEPA2 e DINOv2 em conjuntos de dados de contato mão-objeto (100DOH e TouchMoment). Eles aplicam mapas anisotrópicos controlados (matrizes Hadamard com sinal denso) e mapas ortogonais às características.
   • Controles: Eles comparam o apagamento Euclidiano padrão contra procedimentos usando covariância empírica não encolhida (que é afim-equivariante) e testam a estabilidade dos resultados sob repadronização de coordenadas e novo ajuste de atacante (attacker tuning).

Principidades Contribuições

1. Não Identificação da Contagem Iterativa:

   • Teorema 1: Prova que, para uma população com um conceito de rank um, a contagem de apagamento ridge iterativo é 1 sob mistura identidade, mas 2 sob qualquer cisalhamento não nulo, apesar de a dimensão suficiente e o rank de guarda permanecerem 1.
   • Teorema 2: Estende isso para a remoção full-QR multivariada. Para um sistema de duas saídas, o rank de edição cumulativo muda de 2 (identidade) para 4 (dimensão ambiente) sob cisalhamento, enquanto a dimensão suficiente permanece 2.

2. Teorema de Equivariância Afim:

   • Prova que a trajetória cumulativa completa é afim-equivariante se e somente se a métrica, o probe, o regularizador e as regras de desempate forem transportados consistentemente. Isso estabelece que a covariância exata é uma corolário deste teorema, não uma métrica semântica única.

3. Testes de Estresse Empíricos:

   • Demonstra que, em configurações de amostra finita (usando Adam/QR), a separação entre identidade e cisalhamento se mantém: a mistura identidade para após 1 atualização, enquanto os cisalhamentos aceitam 2 ou mais atualizações em todas as execuções.
   • Mostra que, em características visuais reais, a sensibilidade de coordenadas persiste mesmo após a repadronização de coordenadas, enquanto mapas ortogonais (que preservam a geometria Euclidiana) reproduzem a trajetória de identidade.

4. Separação Conceitual:

   • Separa rigorosamente a dimensão da população (variáveis latentes), dimensão suficiente, rank de guarda e contagem iterativa, argumentando que estes não devem ser reportados sob um único nome.

Resultos

• Nível de População: Provas teóricas confirmam que a contagem inteira de parada não é invariante. Um conceito de rank um pode resultar em uma contagem de 1 ou 2 dependendo apenas do número de condição do sistema de coordenadas.
• Ponte Circular Finita: Em 20 execuções de grande amostra ($n=4.000$), a mistura identidade parou após 1 atualização. Todos os cisalhamentos testados ($a \in \{0.5, \dots, 2\}$) aceitaram pelo menos 2 atualizações. O rank de edição cumulativo atingiu a dimensão ambiente (4) para cisalhamentos, enquanto permaneceu em 2 para a identidade.
• Estudo de Caso Visual:
  • A aplicação de mapas anisotrópicos densos às características congeladas do V-JEPA2 alterou significativamente a trajetória de apagamento e a acessibilidade pós-edição (AUROC), mesmo após a repadronização.
  • Inversamente, a aplicação da covariância empírica não encolhida (que satisfaz a condição de equivariância) resultou em trajetórias idênticas em todos os mapas.
  • Mapas ortogonais reproduziram a trajetória de identidade, confirmando que a sensibilidade observada é impulsionada pela anisotropia, não por ruído do solver ou renomeação arbitrária.
• Calibração Cross-Fit: Edições estimadas por amostra podem deixar um resíduo substancial de acessibilidade para novos atacantes, mesmo quando o rank de guarda da população é conhecido como 1, destacando a diferença entre resíduos de amostra finita e propriedades da população.

Significância e Alegações

O artigo conclui que o número de contagem de apagamento iterativo não é uma dimensão de conceito invariante por afim. É uma quantidade determinada conjuntamente pela geometria da representação e pelo procedimento de medição específico (métrica, probe, regularizador, regra de parada).

• Reinterpretação de Trabalhos Anteriores: Os autores não invalidam a utilidade dos probes lineares ou das representações editadas que eles produzem. No entanto, argumentam que usar a contagem de direções apagadas para afirmar que um conceito está "distribuído" em muitas dimensões ou para identificar uma dimensão intrínseca é matematicamente infundado sem fixar a métrica e o estimando antecipadamente.
• Relato Defensável: O artigo defende o relato do procedimento completo (métrica, perda, regularizador, regra de parada) e a distinção entre dimensão geradora, dimensão suficiente e rank de guarda.
• Escopo: Os resultados aplicam-se a representações lineares e intervenções lineares. Os autores declaram explicitamente que não pretendem identificar a organização de conceitos não lineares, por token ou causais, nem propõem um novo algoritmo de "apagador". O estudo visual é apresentado como um estudo de caso e teste de estresse, não como uma medição definitiva da dimensão de contato.

Em resumo, o artigo fornece uma refutação matemática e empírica rigorosa à ideia de que o número de etapas em um procedimento de apagamento iterativo revela a dimensionalidade intrínseca de um conceito neural, mostrando, em vez disso, que esse número é um artefato do sistema de coordenadas e das escolhas algorítmicas específicas feitas durante a análise.