Resumo Técnico: Engenharia de Atributos como Viés de Identificabilidade para Generalização Fora de Distribuição

1. Declaração do Problema

Redes neurais profundas excelam na interpolação dentro do suporte de seus dados de treinamento, mas frequentemente falham na extrapolação fora de distribuição (OOD). Embora o Teorema da Aproximação Universal garanta capacidades de interpolação, a extrapolação matematicamente garantida permanece um problema não resolvido.

A questão central identificada neste trabalho é a equivalência observacional. Em qualquer janela de treinamento finita $W$, infinitos processos geradores de dados (DGPs) podem ser $\epsilon$-observacionalmente equivalentes (indistinguíveis dentro de uma tolerância $\epsilon$), mas divergir arbitrariamente fora de $W$. Consequentemente, nenhum critério in-distribution (como perda de treinamento, validação cruzada ou perda retida em $W$) pode distinguir de forma confiável o processo subjacente verdadeiro dessas hipóteses confundidoras. O artigo argumenta que a extrapolação OOD é não identificável a partir dos dados sozinhos; a escolha da representação e da classe de modelo constitui um "compromisso estrutural" que resolve essa ambiguidade.

2. Metodologia e Framework Teórico

2.1 O Compromisso DGP $(\phi, \psi, M)$

Os autores formalizam o processo de aprendizado como um compromisso conjunto envolvendo três componentes:

1. Mapa de Atributos ($\phi$): Transforma a entrada $x$ em um espaço de representação $Z_x$.
2. Mapa de Rótulos ($\psi$): Transforma o alvo $y$ em $Z_y$.
3. Classe de Modelo ($M$): A classe de hipóteses operando nos espaços transformados.

O artigo postula que o triplo $(\phi, \psi, M)$ dita o DGP assumido. Se este compromisso estiver alinhado com o DGP verdadeiro, de modo que o alvo se torne linearmente expressível (ou de outra forma simples) no espaço transformado, a extrapolação OOD torna-se interpolação.

2.2 Equivalência Observacional e Identificabilidade

A Proposição 1 estabelece que a Minimização do Risco Empírico (ERM) é cega a processos observacionalmente equivalentes. Para qualquer janela finita $W$ e nível de ruído $\sigma$, se dois processos $P_1$ e $P_2$ concordarem em $W$ dentro de uma tolerância $\epsilon$, nenhum teste suportado em $W$ pode distingui-los de forma confiável quando $\epsilon\sqrt{n} \ll \sigma$. Isso implica que critérios padrão de seleção (como validação cruzada) não podem quebrar o empate entre DGPs concorrentes que são observacionalmente equivalentes no conjunto de treinamento.

A Proposição 2 introduz uma heurística para quebrar esse empate: dados próximos à fronteira. Se dois processos divergem a uma taxa $r$ fora da janela de treinamento, um segmento de validação de largura $\delta \ge \epsilon/r$ imediatamente adjacente à fronteira de treinamento sairá da zona de concordância. Avaliar candidatos nesse segmento próximo à fronteira permite a seleção do compromisso estrutural correto.

2.3 Existência Construtiva

O artigo demonstra que, se o DGP verdadeiro for realizável dentro da classe de modelo $M$ após a transformação (isto é, $g^* \circ \phi = f$ em todo $X$, não apenas em $W$), e o modelo for identificável a partir de amostras finitas, então o erro OOD desaparece ($\epsilon_{OOD} = 0$). Isso é mostrado para:

• Funções senoidais: O uso de coordenadas de Fourier $\phi(x) = (\sin x, \cos x)$ transforma a extrapolação periódica em interpolação em um círculo $S^1$.
• Leis de potência: O uso de transformações log-log.
• Exponenciais: O uso de transformações log-y.

3. Contribuições Principais

1. Formalização da Equivalência Observacional: O artigo fornece um limite inferior teórico sobre a capacidade de qualquer teste in-distribution de distinguir entre processos observacionalmente equivalentes, provando que o risco OOD é não identificável sem compromissos estruturais.
2. O Framework de Compromisso DGP: Identifica $(\phi, \psi, M)$ como a única fonte de informação estrutural que um modelador pode fornecer para resolver a ambiguidade OOD. Argumenta que a "engenharia de atributos" não é um desvio do sucesso do aprendizado profundo, mas a injeção explícita do compromisso estrutural necessário.
3. Experimentos Controlados em Pares Mínimos: Os autores isolam variáveis para mostrar que arquiteturas idênticas com perda in-distribution (ID) idêntica podem diferir por ordens de magnitude (por exemplo, $\sim520\times$) no desempenho OOD, baseando-se apenas no mapa de atributos $\phi$.
4. Validação Cross-Domain: O mecanismo é validado em três domínios das ciências naturais:
   • Química: Cinética de ação de massa (MAK), onde atributos bilineares linearizam a dinâmica.
   • Física: Terceira Lei de Kepler para previsão de exoplanetas, onde transformações log recuperam expoentes físicos.
   • Biologia: Detecção de DNA codificante entre espécies, onde atributos invariantes ao código genético transferem zero-shot entre organismos com conteúdo GC variável.
5. Artefatos para Praticantes:
   • Validação Próxima à Fronteira: Uma heurística de seleção superior à validação cruzada para escolher mapas de atributos.
   • Diagnóstico $\delta_{OOD}$: Uma métrica baseada em SINDy (Identificação Esparsa de Dinâmicas Não Lineares) que correlaciona o resíduo de um ajuste esparso em dados OOD com a correção do mapa de atributos.
   • Verificação de Invariância de Arquitetura: Um estudo mostrando que a garantia OOD pertence ao mapa de atributos (por exemplo, Codificação Posicional Exata de Fourier), e não ao backbone (Transformer, Mamba ou S4D).

4. Resultados Experimentais

4.1 Experimentos Simples (Sin(x) e Leis de Potência)

• Sin(x): Um MLP treinado em $x$ bruto extrapola como uma curva suave e nivelada com alto erro OOD ($\sim156\%$). Um MLP idêntico treinado em atributos de Fourier $(\sin x, \cos x)$ alcança erro OOD próximo de zero ($\sim0,3\%$). Modelos foundation (TimesFM, TabPFN) exibem o mesmo comportamento: eles têm sucesso quando o formato de entrada fornece implicitamente o mapa de atributos correto e falham caso contrário.
• Lei de Potência vs. Exponencial: Em um cenário onde $x^2$ e $e^{\alpha(x-1)}$ são observacionalmente equivalentes em $[1, 2]$, apenas o mapa de atributos transformado por log correto combinado com um modelo linear (OLS) alcança baixo erro OOD. Compromissos incorretos (por exemplo, log-log em um alvo exponencial) resultam em falha catastrófica (erro $>9.999\%$).

4.2 Domínios das Ciências Naturais

• Química (MAK): Atributos bilineares permitem que o OLS recupere as equações governantes exatas com $0,0\%$ de erro OOD, enquanto MLPs brutos falham ($24,4\%$).
• Física (Kepler): O uso de $(\log a, \log M_{star})$ com OLS recupera a lei física com $3,8\%$ de erro OOD. MLPs brutos superajustam os dados ID ($6,9\%$) mas falham no OOD ($79,0\%$).
• Biologia (CDS): Codificações posicionais padrão (APE aprendida, senoidal) falham em generalizar entre espécies com diferentes conteúdos de GC (caindo para níveis de acaso). Mapas de atributos que codificam a periodicidade do codão e a composição de aminoácidos permitem transferência zero-shot com AUROC de até $0,96$.

4.3 Invariância de Arquitetura (Transformer, Mamba, S4D)

Em uma tarefa de sequência periódica, a Codificação Posicional Exata de Fourier alcança erro OOD próximo de zero ($\le 0,2\%$) em todas as três arquiteturas e vários comprimentos de período. Em contraste, codificações posicionais senoidais padrão, RoPE e aprendidas falham (erro $>90\%$). Isso confirma que a garantia OOD é uma propriedade do mapa de atributos, e não da arquitetura.

4.4 Limites e Condições Necessárias

Usando um benchmark de d-toro periódico, o artigo identifica três condições conjuntamente necessárias para a generalização OOD:

1. Alinhamento de Representação: O mapa de atributos deve estar alinhado com o DGP.
2. Capacidade da Classe de Modelo: O modelo deve ser capaz de expressar a ordem de interação do alvo no espaço transformado.
3. Cobertura: Os dados de treinamento devem cobrir suficientemente o espaço de representação relevante (cobertura crítica $M_{crit} \approx 4$).
   O estudo mostra que, mesmo com um mapa de atributos correto, a falha OOD ocorre se a classe de modelo carecer de capacidade ou se a cobertura da amostra for insuficiente.

5. Significado e Alegações

O artigo afirma resolver o "quando e porquê" da falha de extrapolação de redes neurais. Argumenta que:

• O risco OOD é não identificável a partir de dados em uma única janela; o compromisso estrutural $(\phi, \psi, M)$ é o único mecanismo para resolver isso.
• A engenharia de atributos não está obsoleta. Embora o aprendizado profundo possa aprender atributos in-distribution, compromissos estruturais explícitos são necessários para extrapolação.
• O pré-treinamento não resolve o problema. Modelos pré-treinados herdam o problema de compromisso através de seu formato de entrada; eles têm sucesso apenas quando o usuário fornece a transformação correta.
• Atributos corretos são necessários, mas não suficientes. A classe de modelo deve expressar o alvo, e os dados devem cobrir o espaço de representação.

Os autores concluem que o "conjunto Rashomon" (o conjunto de modelos que concordam nos dados de treinamento, mas discordam fora de distribuição) é navegado não apenas pelos dados, mas pela escolha do modelador de compromisso estrutural. O artigo reformula a engenharia de atributos como a injeção explícita do compromisso DGP necessário para tornar a extrapolação identificável.