💻 computer science

A Fiber Criterion for Representation Identifiability in Supervised Learning

Este artigo estabelece que propriedades ao nível da representação no aprendizado supervisionado são identificáveis apenas a partir do comportamento de entrada-saída se, e somente se, elas permanecerem constantes através de todas as fatorações possíveis do preditor, demonstrando que reivindicações sobre representações exigem inerentemente pressupostos ou objetivos além do desempenho supervisionado.

Autores originais: Vasileios Sevetlidis

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vasileios Sevetlidis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema Central: A "Caixa Preta" vs. A "História Interna"

Imagine que você contrata um chef para fazer um prato específico, digamos um Spaghetti Carbonara. Você julga o chef puramente pelo prato final de comida. Se o sabor estiver perfeito, você diz: "Bom trabalho!"

No aprendizado de máquina, isso é o Aprendizado Supervisionado. Olhamos para a entrada (ingredientes crus) e para a saída (o prato final). Se o modelo prevê a resposta correta, assumimos que ele aprendeu a coisa certa.

No entanto, os modelos de IA modernos são frequentemente descritos como "aprendendo representações". Isso significa que assumimos que o modelo não está apenas adivinhando; ele construiu um "mapa mental" interno do mundo. Afirmamos coisas como:

"O modelo aprendeu a ignorar o fundo."
"O modelo comprimiu os dados de forma eficiente."
"O modelo entende o conceito de 'pássaro' independentemente da água ou da terra."

A Grande Pergunta do Artigo: Podemos realmente saber essas coisas apenas olhando para o prato final (a previsão)?

A Resposta: Não. (O Problema da "Fibra")

O artigo argumenta que você não pode saber o que está acontecendo dentro da cabeça do chef apenas provando a comida.

Os autores utilizam um conceito matemático chamado "Fibra" (Fiber). Imagine um conjunto de diferentes métodos de cozimento que resultam exatamente no mesmo Spaghetti Carbonara.

O Chef A usa ovos frescos e de alta qualidade e ignora o teor de sal.
O Chef B usa ovos em pó e adiciona um tempero secreto e inútil que não altera o sabor de forma alguma.
O Chef C usa ovos frescos, mas mantém um caderno oculto sobre o clima lá fora (que é irrelevante para a massa).

Se você apenas provar a massa, todos os três chefs parecem idênticos. Eles estão na mesma "Fibra". Como o resultado final é o mesmo, o aprendizado supervisionado não consegue dizer qual chef está usando ovos frescos, qual está ignorando o sal ou qual está secretamente monitorando o clima.

O "Truque de Mágica" (Aumento Preservador de Preditor)

O artigo prova isso com um truque simples chamado Aumento Preservador de Preditor (Predictor-Preserving Augmentation).

Imagine que você tem um modelo de IA perfeito que identifica pássaros. Ele olha para uma foto e diz "Águia".
Agora, o artigo diz: Eu posso adicionar secretamente uma informação inútil ao cérebro do modelo sem mudar sua resposta.

O Truque: Pegamos o "cérebro" interno do modelo (a representação) e anexamos um novo pedaço de dado inútil a ele. Digamos que anexemos a temperatura atual ou um número aleatório aos dados da imagem do pássaro.
A Correção: Dizemos à parte final do modelo (a "Cabeça") para simplesmente ignorar esse novo dado. Ela olha apenas para a parte do pássaro.
O Resultado: O modelo ainda diz "Águia" com 100% de precisão. A previsão não mudou nada.

Mas aqui está o detalhe:

O modelo não é mais "minimalista" (ele está carregando peso extra).
O modelo não é mais "invariante" (se a temperatura mudar, os dados internos mudam, embora o pássaro seja o mesmo).
O modelo agora contém "informação incômoda" (a temperatura).

Como podemos fazer esse truque para qualquer propriedade (compressão, invariância, significado semântico), nenhuma dessas propriedades é garantida apenas pela previsão. A previsão é fixa, mas a história interna pode ser completamente diferente.

O Que Isso Significa para as "Afirmações"

O artigo introduz um "Critério de Fibra". Ele diz que:

Uma afirmação sobre o que o modelo "sabe" (como "ele é comprimido" ou "ele é invariante") só é verdadeira se todas as versões possíveis daquele modelo (que dão a mesma previsão) compartilharem essa mesma característica.

Como acabamos de mostrar que você pode facilmente adicionar "lixo" ao modelo sem alterar a previsão, a maioria dessas afirmações legais sobre o céreço interno do modelo é não comprovada se você olhar apenas para a previsão.

Como Resolvemos Isso?

Se quisermos ter certeza de que o modelo é "invariante" ou "comprimido", não podemos confiar apenas na previsão. Temos que adicionar regras extras (que o artigo chama de "vieses indutivos" ou "suposições").

Pense nisso como contratar um chef com um contrato:

Sem contrato: Você recebe um bom prato, mas não sabe se ele usou ingredientes frescos ou se monitorou o clima.
Com um contrato (Restrições Arquiteturais): Você força o chef a usar um tipo específico de panela (Arquitetura) ou limita o número de ingredientes (Gargalo/Bottleneck).
Com uma penalidade (Regularização): Você multa o chef se ele usar ingredientes demais.

O artigo conclui que afirmações sobre a representação interna exigem esses contratos extras. Você não pode deduzi-las apenas do resultado final.

Resumo em Uma Sentença

Só porque um modelo de aprendizado de máquina obtém a resposta correta, não significa que ele aprendeu a maneira "certa"; ele pode estar usando um método interno completamente diferente, bagunçado ou ineficiente que por acaso produz o mesmo resultado, e não podemos distinguir a diferença sem adicionar regras extras ao sistema.

Resumo Técnico: Um Critério de Fibra para a Identificabilidade de Representação em Aprendizado Supervisionado

Enunciado do Problema
No aprendizado supervisionado, os modelos são tipicamente avaliados com base em seu comportamento de entrada-saída (precisão preditiva ou risco). No entanto, modelos modernos são frequentemente interpretados não apenas como preditores, mas como aprendizes de representação, onde o mapeamento interno $h$ é alegado possuir propriedades estruturais específicas, tais como compressão, invariância, desentrelaçamento ou acessibilidade semântica. O artigo identifica uma lacuna fundamental: a evidência supervisionada restringe o preditor composto $f = c \circ h$ (onde $h$ mapeia entradas para representações e $c$ mapeia representações para saídas), mas não determina necessariamente a fatoração específica $(h, c)$ que o realiza.

Duas fatorações distintas podem induzir exatamente o mesmo preditor $f$ , enquanto possuem representações internas substancialmente diferentes. Por exemplo, uma representação pode descartar informações de incômodo (nuisance) enquanto outra as retém; uma pode ser comprimida enquanto outra não é. O artigo formaliza a questão: Quais propriedades da representação interna $h$ são unicamente determinadas pelo preditor induzido $c \circ h$ ? Os autores argumentam que, sem suposições adicionais, muitas alegações comuns de nível de representação não são identificáveis a partir do comportamento preditivo supervisionado isoladamente.

Metodologia e Estrutura Teórica
O artigo aborda este problema através de um framework de identificabilidade formal baseado no conceito de fibras no espaço de pares representação-cabeça (representation-head pairs).

Equivalência de Preditor e Fibras:
Seja $\mathcal{M}$ uma classe de pares representação-cabeça $(h, c)$ admissíveis. O artigo define um mapa de projeção $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ onde $\Pi(h, c) = [c \circ h]_{P_X}$ , representando o preditor induzido identificado até a igualdade quase-certeza de $P_X$ .
- Dois pares $(h, c)$ e $(\tilde{h}, \tilde{c})$ são preditor-equivalentes se induzirem o mesmo preditor ( $c \circ h = \tilde{c} \circ \tilde{h}$ quase certamente).
- O conjunto de todos os pares que induzem o mesmo preditor forma uma fibra de $\Pi$ .
O Critério de Fibra/Descida:
O resultado teórico central (Teorema 3.3) estabelece uma condição necessária e suficiente para a identificabilidade de representação:
- Uma propriedade de representação $P$ é identificável a partir do preditor induzido se, e somente se, $P$ for constante em cada fibra de $\Pi$ .
- Equivalentemente, $P$ deve "descer" para uma propriedade bem definida do próprio preditor. Se $P$ varia dentro de uma única fibra (ou seja, duas fatorações produzem o mesmo preditor, mas possuem valores diferentes para $P$ ), então $P$ não pode ser inferido do preditor sozinho.
A Obstrução pela Augmentação:
Para demonstrar a não-identificabilidade, o artigo introduz uma construção canônica chamada augmentação preservadora de preditor (predictor-preserving augmentation).
- Dada uma fatoração $(h, c)$ e uma estatística auxiliar $q(x)$ , pode-se construir uma nova representação $h_q(x) = (h(x), q(x))$ e uma nova cabeça $c_q(u, v) = c(u)$ .
- A nova cabeça ignora a coordenada anexada $q$ , garantindo que $c_q \circ h_q = c \circ h$ ponto a ponto. O preditor e o risco supervisionado permanecem inalterados.
- No entanto, a nova representação $h_q$ pode diferir de $h$ em propriedades como minimalidade, compressão, invariância ou acessibilidade semântica.
- Teorema 3.5 (Obstrução de Augmentação): Se uma classe de modelos $\mathcal{M}$ é fechada sob augmentação preservadora de preditor, qualquer propriedade de representação que mude quando tal augmentação é aplicada não é identificável a partir do preditor induzido (e, consequentemente, não a partir do risco supervisionado escalar).
Restaurando a Identificabilidade:
O artigo observa que a identificabilidade pode ser restaurada ao restringir a classe admissível $\mathcal{M}$ (por exemplo, via restrições arquiteturais, gargalos ou vieses indutivos) para que as "más" augmentações sejam excluídas, ou ao enriquecer o objeto observacional (por exemplo, adicionando perdas auxiliares, múltiplos ambientes, ou medições diretas).

Principais Contribuições

Formalização da Identificabilidade de Representação: O artigo define a identificabilidade de nível de representação estritamente em termos do preditor induzido, distinguindo-a da identificabilidade estatística de fatores gerativos latentes.
O Critério de Fibra/Descida: Fornece um critério matemático rigoroso (Teorema 3.3) afirmando que uma propriedade é identificável se, e somente se, for constante nas fibras da projeção das fatorações para os preditores.
Mecanismo de Obstrução Geral: Identifica a augmentação preservadora de preditor como uma testemunha universal para a não-identificabilidade, aplicando-se a desejos comuns incluindo minimalidade, compressão, invariância, equivariância, remoção de incômodo (nuisance removal) e acessibilidade semântica (Tabela 1).
Diagnósticos Empíricos: O artigo fornece dois tipos de evidência empírica:
1. Testemunhas Algébricas Exatas: Experimentos em CelebA, CIFAR-10, STL-10, OfficeHome e PACS onde informações auxiliares (atributos semânticos, embeddings de transformação, rótulos de domínio) são anexadas às representações. Os resultados mostram que, embora o preditor permaneça idêntico (desacordo zero), os diagnósticos padrão (precisão de sonda, distância de invariância, rank efetivo) mudam drasticamente.
2. Estudo de Desempenho Pareado: Um estudo no dataset Waterbirds comparando modelos treinados com diferentes restrições (ERM, Bottleneck, VIB, AugInv, SupCon) que alcançam desempenho supervisionado similar. Os resultados mostram que esses modelos selecionam diagnósticos de representação diferentes (por exemplo, rank efetivo, decodificabilidade de incômodo) apesar de possuírem precisão de teste e perda comparáveis.

Resultos

Teóricos: O artigo prova que propriedades como compressão, invariância e acessibilidade semântica não são consequências do preditor supervisionado sozinho. Elas variam dentro da fibra do preditor induzido, a menos que a classe admissível seja restrita.
Empíricos:
- Nos experimentos de testemunha exata, anexar uma única coordenada (ex: um rótulo de domínio) a uma representação permitiu que uma sonda decodificasse essa informação com 100% de precisão, enquanto a representação original não conseguia, apesar de o output do preditor permanecer inalterado.
- No estudo Waterbirds, modelos com precisão de teste pareada exibiram divergência significativa em propriedades de representação. Por exemplo, métodos de Information Bottleneck selecionaram representações de rank extremamente baixo (rank efetivo $\approx 1.8$ ) em comparação ao ERM (rank efetivo $\approx 35.7$ ), enquanto métodos de invariância por augmentação reduziram a sensibilidade à transformação, mas mantiveram alta decodificabilidade de incômodo. Crucialmente, a precisão no pior grupo (worst-group accuracy) não correlacionou monotonicamente com a precisão de decodificação de incômodo, indicando que alegações de nível de representação exigem justificativas específicas além do desempenho preditivo.

Significância e Alegações
O artigo afirma esclarecer a relação lógica entre o comportamento preditivo supervisionado e as propriedades da representação interna. Sua principal contribuição é um resultado negativo quanto à suficiência do aprendizado supervisionado para alegações de representação:

O comportamento preditivo supervisionado certifica uma propriedade de nível de representação apenas quando essa propriedade é determinada pelo preditor induzido.
Alegações sobre compressão, invariância ou estrutura semântica não são consequências automáticas de um baixo erro de predição supervisionada.
Para justificar tais alegações, deve-se depender de estrutura adicional além do preditor, como restrições arquiteturais, regularizações, gargalos, augmentação de dados, objetivos auxiliares, suposições causais ou medições diretas de nível de representação.

O artigo conclui que a identificabilidade de nível de representação é condicional à classe de fatorações admissíveis. Sem restrições que diminuam a fibra do preditor ou selecionem representantes específicos, a estrutura interna de um modelo supervisionado permanece subespecificada pelo comportamento de entrada-saída isoladamente.