🤖 machine learning

On the Power of Foundation Models

Este artigo emprega a teoria das categorias para demonstrar que, embora a aprendizagem baseada em prompts seja estritamente limitada a tarefas representáveis, um modelo de fundação suficientemente poderoso com ajuste fino pode, teoricamente, resolver qualquer tarefa downstream dentro da categoria definida por sua tarefa pretextual e generalizar para objetos não vistos por meio de mapeamento estrutural.

Autores originais: Yang Yuan

Publicado 2026-04-27

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yang Yuan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: Uma Super-Cérebro Pode Fazer Tudo?

Imagine que você tem um estudante que leu todos os livros do universo, tem tempo infinito para estudar e nunca comete erros em seus testes de prática. Os autores fazem uma pergunta simples: Se este estudante é perfeito em seus testes de prática, ele pode automaticamente resolver qualquer novo problema que você lhe apresentar?

No mundo da IA, este "estudante" é um Modelo de Base (como os que estão por trás do ChatGPT ou geradores de imagens). Os "testes de prática" são chamados de tarefas pretext (por exemplo, prever a próxima palavra em uma frase ou adivinhar como uma imagem foi rotacionada).

O artigo argumenta que teorias existentes (sobre quanto dados você tem ou quão grande é o computador) não conseguem responder a isso. Em vez disso, os autores usam um ramo da matemática chamado Teoria das Categorias (pense nela como a "gramática das estruturas") para descobrir o que esses modelos podem e não podem fazer.

Eles encontraram duas regras principais sobre como esses modelos aprendem coisas novas:

Regra #1: O Limite do "Prompt" (A Analogia do Cartão de Biblioteca)

O Cenário: Você quer que o modelo faça um novo trabalho (como identificar gatos em fotos), mas não quer re treiná-lo. Você apenas lhe dá uma instrução específica ou "prompt" (como um cartão de biblioteca que diz "Encontre gatos").

A Descoberta: O modelo só pode resolver o novo trabalho se o trabalho já estiver "escondido" dentro da estrutura de seu treinamento original.

A Analogia: Imagine que o modelo é uma Biblioteca.

A Tarefa Pretext (treinamento) é como a biblioteca organizou seus livros. Se a biblioteca organizou os livros apenas por "Cor", então os livros estão classificados em Vermelho, Azul e Verde.
Ajuste de Prompt é como pedir ao bibliotecário: "Você pode me encontrar um livro sobre História?"
O Resultado: Se a biblioteca foi organizada apenas por Cor, o bibliotecário não pode encontrar um livro sobre História, mesmo que tenha a melhor memória do mundo. A categoria "História" simplesmente não existe na estrutura da biblioteca.
A Prova do Artigo: Os autores provam que, se a tarefa de treinamento (como adivinhar rotações de imagem) apenas ensina o modelo sobre "girar", o modelo não pode ser instruído a realizar tarefas complexas como "segmentar" (recortar) objetos, porque o conceito de "recortar" não foi incorporado à estrutura da biblioteca.

Conclusão: Se você só ensina o modelo a jogar xadrez, não pode apenas "promptá-lo" para jogar futebol. A nova tarefa deve ser representável pela estrutura antiga.

Regra #2: O Poder do "Ajuste Fino" (A Analogia da Chave Mestra)

O Cenário: Você está disposto a dar ao modelo um pouco de novo treinamento (Ajuste Fino) usando um pequeno conjunto de dados para o novo trabalho.

A Descoberta: Isso é muito mais poderoso. Se o modelo aprendeu a "estrutura" do mundo suficientemente bem durante seu treinamento inicial, ele pode aprender qualquer nova tarefa, desde que você lhe dê recursos suficientes (dados e capacidade de processamento) para conectar os pontos.

A Analogia: Imagine que o modelo é uma Chave Mestra que foi cortada para cabir nas fechaduras de um edifício específico (a Tarefa Pretext).

Ajuste Fino é como pegar essa Chave Mestra e limá-la ligeiramente para cabir em uma nova porta em um edifício diferente.
O Resultado: Desde que a Chave Mestra tenha capturado a essência das fechaduras do primeiro edifício, você pode remodelá-la para abrir quase qualquer porta no mundo.
A Prova do Artigo: Os autores mostram que, se o modelo é "ideal" (aprendeu perfeitamente a estrutura de treinamento), ele contém todas as informações necessárias para resolver qualquer tarefa subsequente. Os dados de treinamento para a nova tarefa atuam apenas como um guia para mostrar ao modelo como remodelar essa informação.

Conclusão: O ajuste fino não é limitado pela "representabilidade" do prompt. Se a fundação é forte, o modelo pode ser adaptado para quase qualquer coisa.

Regra #3: A "Ponte Mágica" (A Analogia do Tradutor)

O Cenário: O que acontece quando combinamos diferentes tipos de modelos, como um que entende texto e um que entende imagens (Aprendizado Multimodal)?

A Descoberta: O artigo apresenta um "Teorema de Generalização". Ele diz que, se você construir uma ponte perfeita (uma mapeamento matemático) entre dois mundos diferentes (por exemplo, Texto e Imagens), a estrutura de um mundo é preservada no outro.

A Analogia: Imagine que você tem um Dicionário que traduz perfeitamente "Texto" em "Imagens".

No mundo do Texto, você tem o conceito de uma "Cadeira de Abacate" (uma cadeira em forma de abacate). Este objeto pode não existir no mundo real, e nenhuma foto dele existe em seus dados de treinamento.
No entanto, porque o mundo do Texto tem uma estrutura lógica onde "Abacate" e "Cadeira" podem ser combinados, e seu Dicionário (o modelo) preserva perfeitamente essa estrutura ao traduzir para o mundo das Imagens...
O Resultado: O modelo pode "alucinar" ou gerar uma imagem perfeita de uma Cadeira de Abacate, mesmo que nunca tenha visto uma. Ele não memorizou a imagem; ele entendeu a relação entre as palavras e aplicou essa estrutura ao mundo das imagens.

A Prova do Artigo: Isso explica por que modelos como DALL-E 2 ou CLIP podem criar imagens de coisas que não existem em seus conjuntos de treinamento. Eles não estão apenas copiando; estão usando a lógica estrutural da linguagem para construir novas imagens.

Resumo das Alegações do Artigo

O Prompt é Limitado: Você só pode pedir a um modelo que faça coisas que já estão "incorporadas" na maneira como ele foi treinado. Se o treinamento não lhe ensinou a estrutura da nova tarefa, um prompt simples não funcionará.
O Ajuste Fino é Poderoso: Se você estiver disposto a fazer um pouco de treinamento extra, um modelo que aprendeu uma boa estrutura pode ser adaptado para resolver quase qualquer tarefa.
A Estrutura Cria Novas Coisas: Ao mapear perfeitamente a estrutura de um domínio (como texto) para outro (como imagens), os modelos podem gerar coisas que nunca existiram antes (como uma cadeira de abacate), porque estão seguindo as regras lógicas da estrutura, e não apenas memorizando imagens.

Os autores enfatizam que não estão falando de tamanhos específicos de rede ou quantidades de dados, mas sim da estrutura lógica das próprias tarefas. Eles usam matemática para provar que a "forma" da tarefa de treinamento dita a "forma" do que o modelo eventualmente pode fazer.

1. Declaração do Problema

O artigo aborda uma questão fundamental na era dos modelos de base: Dado um volume infinito de dados de alta qualidade, poder computacional infinito e um modelo de tamanho infinito com um algoritmo de treinamento perfeito (garantindo erro de generalização zero na tarefa pretext), tal modelo pode resolver qualquer tarefa downstream?

As teorias existentes de aprendizado profundo (representação, otimização e generalização) são insuficientes para responder a isso, pois tipicamente assumem distribuições de dados específicas, arquiteturas de rede ou recursos finitos. Os autores argumentam que a limitação não reside na capacidade do modelo de aprender, mas sim na representação estrutural das próprias tarefas. O problema central é determinar quais tarefas downstream são solucionáveis por um modelo de base baseando-se exclusivamente na estrutura induzida pela sua tarefa de pré-treinamento (pretext).

2. Metodologia: Um Framework Categórico

Os autores empregam a Teoria das Categorias como a principal ferramenta matemática para analisar modelos de base. Essa abordagem permite uma perspectiva "obliviosa ao modelo" (model-oblivious), focando nas relações estruturais entre pontos de dados, em vez de arquiteturas específicas de redes neurais ou funções de perda.

Conceitos Chave Definidos:

Categoria Induzida pelo Modelo de Base ( $C_f$ ): Um modelo de base $f: D \to H$ $f : D \to H$ (mapeando dados para representações) induz uma categoria onde:
- Objetos: Pontos de dados módulo equivalência de representação (ou seja, $X \sim X'$ se $f(X) = f(X')$ ).
- Morfismos: Definidos por uma "leitura obliviosa aos dados" $k_f$ e mapas de composição derivados das operações da tarefa pretext (por exemplo, translação no espaço de características para aprendizado contrastivo, ou acréscimo de tokens para modelagem de linguagem).
Embebedamento de Yoneda ( $h_C$ ): O artigo utiliza o Lema de Yoneda para interpretar a representação do modelo $f(X)$ como um functor representável $h_C(X) = \text{Hom}_C(X, \cdot)$ . Isso mapeia o espaço interno de características para uma categoria de functores ( $C^\vee$ ), codificando efetivamente as relações estruturais dos dados.
Representação de Tarefa: Tarefas downstream são definidas como functores $T \in C^\vee$ . Resolver uma tarefa significa que o modelo pode produzir uma saída isomórfica a $T(X)$ .

3. Contribuições e Resultados Chave

O artigo estabelece três teoremas principais regarding as capacidades dos modelos de base sob duas estratégias de adaptação: Prompt Tuning e Fine Tuning.

A. Os Limites do Prompt Tuning (Teorema 3)

Resultado: Um modelo de base pode resolver uma tarefa downstream $T$ usando prompt tuning se e somente se a tarefa $T$ for representável na categoria induzida pela tarefa pretext.
Implicação: O prompt tuning é estritamente limitado pela riqueza estrutural da tarefa pretext. Se a tarefa pretext (por exemplo, previsão de rotação) induz apenas uma estrutura de grupo simples, o modelo não pode resolver tarefas downstream complexas (por exemplo, segmentação semântica) apenas por meio de prompts, independentemente do tamanho do modelo.
Corolário 1: Especificamente, tarefas pretext de previsão de rotação não garantem a capacidade de resolver tarefas de nível de conteúdo, como classificação ou segmentação, via prompting, pois a categoria induzida carece da complexidade estrutural necessária.

B. O Poder do Fine Tuning (Teorema 5)

Resultado: Diferentemente do prompt tuning, o fine tuning não possui tal limitação estrutural. Se um modelo de base tiver o poder mínimo necessário para resolver a tarefa pretext (até simetria) e for fornecido com recursos suficientes (dados e computação) para a tarefa downstream, ele pode teoricamente resolver qualquer tarefa downstream definida dentro da categoria $C^\vee$ .
Mecanismo: O fine tuning permite que o modelo aprenda um functor de extensão (via o teorema de extensão de Yoneda) que mapeia o espaço de representação pré-treinado para o espaço específico da tarefa alvo.
Significado: Isso sugere que o "gargalo" dos modelos de base não é a própria capacidade de fine tuning, mas a qualidade da tarefa pretext. Uma tarefa pretext rica cria uma categoria $C$ rica, que por sua vez expande o espaço de tarefas downstream solucionáveis.

C. Generalização e Aprendizado Multimodal (Teoremas 6 e 7)

Resultado: O artigo apresenta um Teorema de Generalização para Aprendizado Estrutural. Se um "functor alinhado a características" existir entre duas categorias (por exemplo, Texto e Imagem), a informação estrutural da categoria de origem é preservada no espaço de características da categoria alvo.
Aplicação a Objetos "Não Vistos": Isso explica como modelos como CLIP ou DALL-E 2 podem gerar ou reconhecer objetos não presentes nos dados de treinamento (por exemplo, uma "cadeira de abacate"). O modelo aprende as relações estruturais (morfismos) entre as categorias de texto e imagem. Se o texto "cadeira de abacate" for uma composição válida na categoria de texto, o functor alinhado a características mapeia essa estrutura para um objeto correspondente (potencialmente não visto) na categoria de imagem.
Teorema Compositivo (Teorema 7): Este framework estende-se a cadeias de categorias, explicando como modelos multimodais podem conectar domínios distintos (por exemplo, Idioma A $\to$ Idioma B $\to$ Imagem) compondo functores.

4. Significado e Impacto

Mudança de Dados/Arquitetura para Estrutura: O artigo desloca o foco teórico da quantidade de dados ou profundidade da rede para a estrutura algébrica das tarefas. Postula que o "poder" de um modelo de base é determinado pela categoria que ele induz, e não apenas pela sua contagem de parâmetros.
Justificativa Teórica para o Design de Pretext: Fornece um framework matemático rigoroso para Aprendizado Auto-supervisionado (SSL). Explica por que certas tarefas pretext funcionam melhor do que outras: elas induzem categorias com morfismos mais ricos, permitindo uma gama mais ampla de tarefas downstream.
Explicação das Capacidades "Zero-Shot": O framework baseado em Yoneda oferece uma explicação formal de como modelos de base generalizam para conceitos não vistos (generalização composicional), tratando-os como composições estruturais dentro de uma categoria, em vez de meras correlações estatísticas.
Distinção entre Prompting e Fine-tuning: Clarifica a fronteira teórica entre engenharia de prompts (limitada pela representabilidade) e fine-tuning (limitado apenas por recursos e pela riqueza da categoria pré-treinada).

Conclusão

O artigo argumenta que, com recursos infinitos, a capacidade de um modelo de base de resolver tarefas é fundamentalmente restringida pela estrutura categórica aprendida durante o pré-treinamento. Enquanto o prompt tuning é restrito a tarefas que são estruturalmente representáveis dentro dessa categoria, o fine tuning pode desbloquear qualquer tarefa dentro desse espaço estrutural. Além disso, o framework demonstra que o aprendizado multimodal é essencialmente o alinhamento de functores entre diferentes categorias, permitindo a geração e o reconhecimento de objetos novos e não vistos através da composição estrutural.