Resumo Técnico: De Máscaras de Atenção para Tokens de Vetor Zero Inertes

1. Definição do Problema

Os modelos atuais baseados em atenção dependem de máscaras de atenção ($m_{ij}$) para controlar interações. Essas máscaras são controles de nível de relação que especificam quais pares consulta–fonte são permitidos a interagir (por exemplo, para causalidade ou roteamento). No entanto, as máscaras não fornecem um mecanismo de nível de estado onde a representação de um token signifique intrinsecamente a não participação.

A atenção de produto escalar escalonada padrão falha ao não tratar um token de vetor zero ($h=0$) como um elemento inerte:

• Como Receptor: Se uma consulta $q_i = 0$, os escores de atenção tornam-se uniformes, e a saída torna-se a média dos valores visíveis em vez de zero.
• Como Fonte: Se um token de origem possui $k_j=0, v_j=0$, ele adiciona uma constante ($e^0=1$) ao denominador do softmax. Isso altera os pesos de todos os outros tokens ativos, o que significa que a origem é um "estado comum" em vez de um "estado nulo".

O artigo argumenta por um requisito complementar: um estado NULL estrutural onde uma representação carrega sua própria não participação, garantindo que ela não emita saída nem contribua com massa para computações compartilhadas, sem depender exclusivamente de mascaramento externo.

2. Metodologia

2.1 Coeficiente de Presença do Token

A inovação central é atribuir a cada portador oculto $h_i$ um coeficiente de presença ativa suave $p_i$:
$$p_i = \rho_\tau(h_i) = \frac{\|h_i\|^2}{\tau + \|h_i\|^2}$$
onde $\tau > 0$ é um hiperparâmetro de escala.

• Propriedades: $p_i \in [0, 1)$, é exatamente zero apenas na origem ($h_i=0$), e aproxima-se de 1 para vetores não nulos fixos conforme $\tau \to 0$.
• Papel Dual: Este único coeficiente governa dois papéis distintos:
  1. Participação na Atualização Local: Controla a emissão de informação do token $i$.
  2. Participação no Suporte de Contexto: Determina a massa que o token $i$ contribui para estatísticas compartilhadas (denominadores, partições).

2.2 OAttention (Atenção Acoplada ao Suporte)

OAttention é a realização desta regra. Ela modifica a atenção padrão por:

• Gating do Receptor: A saída é multiplicada pela presença do receptor $p_i$.
• Ponderação da Fonte: A presença da fonte $p_j$ é multiplicada tanto no numerador quanto na partição (denominador) do mecanismo de atenção.
• Fórmula:
  $$\text{OAttention}_i(H; m) = p_i \frac{\sum_j m_{ij} p_j \exp(s_{ij}) v_j}{\epsilon_{den} + \sum_j m_{ij} p_j \exp(s_{ij})}$$
  onde $s_{ij}$ é o escore de produto escalar escalonado padrão e $m_{ij}$ é a máscara de visibilidade externa.

Este design garante que, se $h_i=0$, então $p_i=0$, resultando em uma saída zero (Receptor Nulo). Se $h_j=0$, então $p_j=0$, significando que a fonte não contribui nada para o numerador ou denominador, deixando todos os outros pesos inalterados (Inserção de Fonte Nula).

2.3 O-Closure e Dinâmica de Tokens

O artigo estende este conceito para toda a arquitetura do modelo via O-Closure, uma lei que estabelece que a inserção de um token zero não deve alterar as saídas ou estados existentes. Isso requer:

• Mapas Locais (Absorção de Zero): Componentes como Redes Feed-Forward (OFFN) e Normalização (ONorm) devem controlar suas atualizações por $p_i$ (ex: $h^+ = h + p_i \cdot \text{FFN}(h)$).
• Mapas Acoplados ao Suporte (Massa Zero): Estatísticas entre tokens (como OStandardize) devem usar momentos ponderados pela presença para que tokens zero não desloquem a média ou a variância dos tokens ativos.
• OTransformer: Um modelo construído pela composição destes componentes O-fechados (OAttention, OFFN, ONorm, OInject) garante que todo o caminho preserve o estado NULL sob adição residual e composição.

3. Principais Contribuições

1. Formulação de Consistência de Nulo: Definiu propriedades exatas de operadores separando a participação de estado carregada pela representação da visibilidade de nível de relação das máscaras de visibilidade.
2. Derivação de OAttention: Provou que um único coeficiente de presença ao nível do token pode satisfazer as propriedades de receptor nulo, inserção de fonte nula, inserção de autoatenção e propriedades de suporte vazio, mantendo a competição do softmax padrão.
3. Lei de O-Closure: Estabeleceu as condições algébricas (absorção de zero e apagamento contextual) necessárias para que os operadores de tokens sejam composíveis em uma arquitetura de O-fechamento (OTransformer).
4. Realizações de Componentes: Forneceu implementações específicas para OFFN, ONorm, OInject e OStandardize que aderem a estas leis.

4. Resultados

O artigo avalia três reivindicações distintas com escopos delimitados:

4.1 Exatidão (Contratos de Operador)

• Método: Avaliação independente em GPU da implementação OAttention em FP32, BF16 e FP16.
• Resultado: A implementação alcança erros $L_\infty \le 8.94 \times 10^{-8}$ contra a avaliação direta. Ela mantém com sucesso saídas zero exatas para receptores nulos e deixa as saídas pré-existentes inalteradas quando fontes nulas são inseridas.

4.2 Compatibilidade de Caminho Ativo (Retrofit)

• Método: Um retrofit de "ajuste fino de zero" de um regressor TabPFN v3 clonado e pré-treinado. Os pesos do modelo foram congelados; apenas o portador oculto OAttention (e variantes Full-O) foram introduzidos.
• Resultado: Em 18 casos correspondentes de conjunto de dados–semente:
  • OAttention de portador oculto: Alterou o RMSE médio em +0,088%.
  • Full-O (incluindo OFFN/ONorm): Alterou o RMSE médio em +0,177%.
  • Estas mudanças são descritas como observações de "quase-identidade calibrada", não garantias universais de não-inferioridade.

4.3 Necessidade Composicional (Ablação)

• Método: Um estudo de ablação de dois blocos comparando um host padrão, um host "OA-only" (OAttention com FFN/Norm padrão) e um "OTransformer" completo (todos os componentes O-fechados).
• Resultado:
  • OA-only: Falhou em preservar o estado NULL; inserir um token zero causou grandes deslocamentos nos estados dos tokens antigos ($L_\infty \approx 7.98$) porque o FFN e a normalização afim ordinários reativaram o zero.
  • OTransformer: Sucessivamente preservou o estado NULL ($L_\infty \approx 0$), demonstrando que a atenção sozinha é insuficiente sem o fechamento nos componentes hospedeiros.

5. Significância e Reivindicações

O artigo posiciona suas contribuições como testes de escopo de exatidão, compatibilidade de caminho ativo e necessidade composicional.

• O que ele reivindica:

  • Estabelece um framework matemático onde a representação de um token pode intrinsecamente carregar um estado de "NULL estrutural".
  • Prova que OAttention e O-Closure são necessários para evitar que inserções de zero corrompam as computações ativas em um modelo.
  • Demonstra que esses mecanismos podem ser retroajustados em um modelo pré-treinado com degradação mínima de desempenho.

• O que ele explicitamente NÃO reivindica:

  • Não-Perda Universal: Os resultados não provam que modelos O-fechados são universalmente superiores ou não inferiores em todas as tarefas.
  • Fechamento de Host Arbitrário: A teoria é condicional ao fato de que o roteamento, pooling e caminhos de leitura do modelo hospedeiro também satisfaçam a lei de O-Closure.
  • Dinâmicas de Atrator de Zero Aprendidas: O artigo não afirma que o treinamento descobrirá ou utilizará naturalmente esses estados nulos; ele fornece o mecanismo para eles, não a prova de sua emergência.
  • Semântica Geral de Dados Ausentes: Ele distingue o NULL estrutural da ausência informativa (ex: um token [MASK] aprendido) e não afirma resolver a semântica geral de dados faltantes.

Em resumo, o artigo fornece uma solução algébrica e arquitetônica rigorosa para tornar o "vetor zero" um elemento verdadeiramente inerte em modelos de atenção, garantindo que a ausência da representação de um token resulte na ausência de sua influência, desde que todo o caminho computacional respeite a lei de O-Closure.