Resumo Técnico: Inversões de Preferência em Redes Neurais sob Incompatibilidade de Gram

1. Declaração do Problema

Redes neurais dependem cada vez mais de dados agrupados de fontes heterogêneas (diferentes populações, períodos de tempo ou condições operacionais) para melhorar a generalização. No entanto, existe uma lacuna crítica de confiabilidade: embora o agrupamento expanda a base de evidências, ele pode reverter ordenações de ações que são consistentemente sustentadas por fontes individuais.

Métricas de acurácia agregada padrão falham em detectar este problema porque medem o desempenho preditivo, e não a consistência das classificações relativas de ações. Um modelo reajustado em dados agrupados pode reverter uma preferência acordada por todos os modelos de origem sem que haja uma queda correspondente na acurácia geral. Este artigo aborda as condições sob as quais a preservação de preferência composicional falha. Especificamente, investiga por que e quando um modelo agrupado, treinado com representações fixas e cabeças de saída de Mínimos Quadrados Ordinários (OLS), reverte uma preferência estrita de par apoiada por ambos os conjuntos de dados de origem.

O problema é formalizado através da Teoria da Decisão Baseada em Casos (CBDT), especificamente seu axioma de composição (A2), que exige que uma ordenação sustentada por ambas as memórias de origem sobreviva à sua união. O artigo postula que a falha deste axioma em redes neurais é impulsionada pela incompatibilidade de Gram — o desalinhamento geométrico das matrizes inversas de Gram usadas para ponderar a evidência de origem.

2. Metodologia

Estrutura Teórica

Os autores analisam redes neurais de representação fixa onde o extrator de características $\phi$ é congelado e apenas as cabeças de leitura OLS são ajustadas.

• Margens de Origem: Para uma origem $j$, a margem de preferência entre as ações $a$ e $b$ é definida como $\Delta_{j}(x) = \phi(x)^\top G_j^{-1} \Phi_j^\top d_j(a,b)$, onde $G_j$ é a matriz de Gram não centrada da origem $j$.
• Margem Agrupada: Ao agrupar origens, a matriz de Gram torna-se $G_1 + G_2$, e os vetores de evidência somam-se. A margem agrupada é $\Delta_{12}(x) = \phi(x)^\top (G_1 + G_2)^{-1} (\Phi_1^\top d_1 + \Phi_2^\top d_2)$.
• Mecanismo de Reversão: O artigo demonstra que mesmo se $\Delta_1 > 0$ e $\Delta_2 > 0$, a geometria inversa recomputada $(G_1 + G_2)^{-1}$ pode rotacionar ou reponderar a evidência combinada de tal forma que $\Delta_{12} < 0$. Isso ocorre quando $G_1$ e $G_2$ não são múltiplos escalares um do outro (incompatibilidade de Gram).

Resultados Analíticos

• Preservação Exata: Se $G_1 = \kappa_1 G_0$ e $G_2 = \kappa_2 G_0$ (alinhamento escalar), a margem agrupada é uma combinação convexa das margens de origem, garantindo a preservação da ordenação.
• Preservação Aproximada: Para alinhamentos não escalares, os autores derivam uma garantia dependente da margem. Eles definem uma medida de desajuste de Gram invariante de escala, $\delta_{norm}(G_1, G_2) = \|\tilde{G}_1 - \tilde{G}_2\|_F$, onde $\tilde{G}$ é a matriz de Gram normalizada por Frobenius.
• Certificado de Estabilidade: Uma condição suficiente para a preservação é derivada (Corolário 1), ligando o desajuste normalizado, as margens de origem, as normas de evidência e o condicionamento. Se a margem de origem ponderada exceder um termo de penalidade proporcional ao desajuste, a ordenação é preservada.

Ferramentas Operacionais

1. Triagem (Screening): Uma medida de desajuste de Gram invariante de escala é introduzida para priorizar pools candidatos para auditoria antes do reajuste.
2. Regularização: Dois objetivos orientados pela geometria são propostos para o treinamento:
   • Branqueamento de Gram (Gram Whitening): Incentiva os lotes de origem a se alinharem com uma referência de identidade compartilhada.
   • Alinhamento Direto (Direct Alignment): Incentiva a direção de Gram de uma origem a se alinhar com uma referência congelada de um estágio de origem de menor demanda.
3. Auditoria de Três Estágios: Uma estrutura para rastrear o impacto das reversões:
   • Estágio 1: Taxa de reversão estrita de pares (consistência A2).
   • Estágio 2: Taxa de mudança de decisão (consultas onde o modelo agrupado seleciona uma ação diferente do consenso de origem).
   • Estágio 3: Perda de utilidade definida pela tarefa (decisões prejudiciais vs. benéficas).

3. Principais Contribuições

1. Formalização da Confiabilidade Composicional: O artigo formaliza a confiabilidade do reajuste agrupado como preservação de preferência composicional para redes OLS de representação fixa, provando que a recomposição do inverso de Gram pode reverter preferências compartilhadas.
2. Caracterização Geométrica: Identifica a incompatibilidade de Gram como a causa raiz das reversões e deriva condições de preservação exatas (alinhamento escalar) e aproximadas (dependente da margem).
3. Estrutura Operacional: Introduz uma medida de desajuste de Gram invariante de escala para triagem e regularizadores orientados pela geometria para o treinamento.
4. Auditoria de Consequências: Desenvolve uma auditoria de três estágios que separa reversões de pares estritas de mudanças de decisão reais e perdas de utilidade específicas da tarefa, demonstrando que nem todas as reversões são prejudiciais, mas existe uma classe mensurável de decisões prejudiciais.

4. Resultados Experimentais

Estudo de Mecanismo Controlado

Em um ambiente controlado, os autores mostram uma forte correlação negativa ($-0,903$) entre o desajuste de Gram normalizado e a consistência estrita de A2. À medida que o desajuste aumenta, a consistência estrita cai drasticamente, com um ponto de transição observado em torno de um valor de desajuste de 1,07–1,27, confirmando que a incompatibilidade de Gram induz reversões de preferência.

Proxy de Lances Baseado em Carga (Load-Based Bidding Proxy)

Usando um proxy de lances baseado em carga, o estudo rastreia a cadeia de consequências:

• Taxa de Reversão: 1,80% dos pares consulta-ação elegíveis experimentaram reversões estritas de pares.
• Mudança de Decisão: 1,12% das consultas de consenso de origem resultaram em uma mudança na decisão do modelo agrupado.
• Dano: Das decisões alteradas, 53,64% foram prejudiciais em relação ao consenso de origem. Isso estabelece uma classe mensurável e não nula de decisões prejudiciais decorrentes da falha composicional.

Pontos de Operação Geometria–Decisão

Experimentos comparando métodos de regularização (Sem regularização, Branqueamento de Gram, Alinhamento Direto, Decaimento de peso) revelam distintos pontos de operação:

• Branqueamento de Gram ($\lambda_{reg}=0,01$) alcançou a maior acurácia e a maior consistência estrita de A2, mas não reduziu significamente a taxa de dano em comparação com o baseline.
• Alinhamento Direto ($\lambda_{reg}=0,1$) apresentou a menor taxa de dano, mas uma acurácia ligeiramente inferior.
• Conclusão: Um menor desajuste geométrico não garante automaticamente um menor dano de decisão; diferentes objetivos trocam acurácia, consistência, geometria e dano.

Escopo de Domínio Cruzado (Médico e Financeiro)

Auditorias nos conjuntos de dados UCI Heart Disease e Credit Card Default mostraram que desajustes de Gram comparáveis podem levar a taxas de preservação vastamente diferentes (ex: 99,91% vs. 89,22% de consistência). Isso confirma que o desajuste é uma ferramenta útil para priorizar auditorias, mas é insuficiente como um preditor autônomo de falhas sem considerar as margens de origem e o condicionamento.

5. Significância e Alegações

O artigo alega tornar a confiabilidade composicional mensurável e operacional. Ao ligar a geometria abstrata das matrizes de Gram a consequências de decisão concretas, os autores fornecem uma estrutura para:

• Triagem (Screening): Identificar pools de dados de alto risco antes do reajuste usando a métrica $\delta_{norm}$.
• Certificação: Usar condições analíticas para certificar a preservação para pares específicos de consulta-ação.
• Treinamento: Moldar a geometria de origem durante o treinamento para mitigar a incompatibilidade.
• Auditoria: Rastrear a cadeia completa, do desajuste de Gram à perda de utilidade.

Os autores alegam modestamente que seu framework não elimina todas as falhas, mas fornece as ferramentas necessárias para detectar, quantificar e mitigar a classe específica de "inversões de preferência" causadas pela incompatibilidade de Gram em sistemas de decisão de redes neurais agrupadas. Eles enfatizam que a acurácia agregada é um substituto inadequado para a consistência composicional e que a auditoria ao nível de decisão é essencial para a integração confiável de múltiplas fontes.