Resumo Técnico: Aprendendo a Extrapolar para Novas Tarefas: Uma Abordagem Relacional para Extrapolacão de Tarefas

1. Formulação do Problema

Sistemas de aprendizado modernos, incluindo modelos de base em larga escala, excelam na interpolação dentro do suporte de sua distribuição de treinamento, mas lutam para generalizar para tarefas que estão fora desse suporte (fora do suporte ou OOS). Essa falha persiste mesmo em configurações estruturadas, como prever funções com parâmetros além do intervalo de treinamento, aumentar a profundidade composicional ou recombinar primitivas conhecidas de maneiras não vistas. Os modelos atuais frequentemente dependem de heurísticas vinculadas à distribuição de treinamento, em vez de internalizar os mecanismos generativos de um domínio, levando à saturação nas fronteiras de sua experiência.

O artigo define extrapolação de tarefas como a generalização para tarefas-alvo onde a própria estrutura definidora da tarefa está fora do suporte de treinamento. Diferentemente da generalização fora de distribuição ou de comprimento padrão, onde as entradas de teste são uniões ou extensões das entradas de treinamento, a extrapolação de tarefas exige raciocínio sobre a transformação da própria estrutura da tarefa. Os autores postulam que, embora extrapolar para tarefas arbitrariamente não vistas seja mal posto, muitas tarefas do mundo real estão sistematicamente relacionadas através de estruturas compartilhadas e desconhecidas.

2. Metodologia: O Extrapolador Relacional de Tarefas (RTE)

A proposta central é o Extrapolador Relacional de Tarefas (RTE), um algoritmo que reformula a extrapolação como um problema transdutivo. A observação central é que a extrapolação é inerentemente relacional: o sucesso depende de aprender como as tarefas se transformam umas nas outras.

2.1. Mecanismo Central

O RTE decompõe uma tarefa-alvo não vista $f_{\theta^*}$ em dois componentes observados durante o treinamento:

1. Uma Tarefa Âncora ($f_{anc}$): Uma tarefa familiar dentro da distribuição de treinamento.
2. Uma Transformação ($\phi$): Um descritor relativo que liga a âncora ao alvo (por exemplo, um deslocamento de parâmetro, um passo de extensão recursiva ou um operador de composição).

Em vez de aprender um mapeamento direto de parâmetros de tarefa para saídas, o RTE aprende um operador relacional $\Psi$ que mapeia um par âncora-transformação para previsões da tarefa-alvo:
$$\hat{y} = \Psi(x, f_{anc}, \phi)$$
Isso reduz o difícil problema de extrapolação fora do suporte (OOS) para um problema mais tratável de fora de combinação (OOC). Tanto a âncora quanto a transformação são observadas individualmente nos dados de treinamento, mesmo que sua combinação específica seja nova.

2.2. Três Regimes de Extrapolacão

Os autores instanciam o RTE em três regimes canônicos:

• Extrapolação de Parâmetros (Contínua): As tarefas são indexadas por parâmetros contínuos. As transformações são deslocamentos no espaço de parâmetros ($\phi = \Delta\theta$). O operador aprende como as curvas de função se deformam sob deslocamentos de parâmetros.
• Extrapolação de Comprimento (Recursiva): As tarefas são organizadas por complexidade hierárquica (por exemplo, grau polinomial). A transformação é um passo indutivo que estende uma tarefa de complexidade $L-1$ para $L$ (por exemplo, adicionar um novo termo).
• Extrapolação Composicional (Combinatória): As tarefas são formadas combinando primitivas (por exemplo, $f \circ g$). Um componente serve como âncora e o outro como argumento de transformação.

2.3. Inferência e Busca

Um desafio prático é selecionar a âncora e a transformação quando os descritores de tarefa são latentes. O RTE aborda isso por meio de uma geometria proxy (usando embeddings Task2Vec derivados da Matriz de Informação de Fisher) e um processo de duas fases:

1. Treinamento: O modelo aprende $\Psi$ minimizando o erro de previsão em pares de tarefas de treinamento $(f_i, f_j)$ onde a transformação $\phi_{ij}$ é conhecida ou inferida.
2. Inferência:
   • Regime Contínuo: Utiliza um atalho geométrico. O contexto-alvo é incorporado e o vizinho mais próximo na biblioteca de treinamento é selecionado como a âncora. A transformação é inferida como a diferença vetorial no espaço proxy.
   • Regimes Discretos (Comprimento/Composição): Emprega uma busca amortizada. Uma rede decompositora propõe pares candidatos de âncora-transformação, que são então reclassificados avaliando sua verossimilhança ou erro de reconstrução no contexto-alvo esparsos.

2.4. Extensão para Modelos de Sequência (LLMs)

O RTE é estendido para Grandes Modelos de Linguagem (LLMs) enquadrando a extrapolação de tarefas como um problema de ajuste fino supervisionado (SFT). O operador relacional é instanciado como um modelo de seguimento de instruções ajustado finamente. No momento do teste, o modelo é solicitado com uma tarefa âncora (demonstrações), uma descrição de transformação (por exemplo, "deslocar o índice do bit 3") e uma consulta. O modelo aprende a aplicar a lógica de transformação à âncora para resolver o alvo. A inferência envolve uma busca discreta sobre decomposições candidatas, classificando-as com base na verossimilhança do modelo no contexto-alvo.

3. Contribuições Principais

• Extrapolação Relacional de Tarefas (RTE): Um framework algorítmico que aproveita as relações inter-tarefas para reduzir a extrapolação OOS a problemas OOC.
• Regimes de Extrapolacão: Instanciação formal do RTE em configurações de extrapolação de parâmetros, comprimento e composicional.
• Protocolos de Treinamento e Inferência: Desenvolvimento de protocolos usando embeddings Task2Vec para geometria proxy e formulação da extrapolação como um problema de otimização. Para LLMs, o uso da verossimilhança em contexto esparsos como recompensa proxy para busca e verificação sem sinais extrínsecos.
• Validação Empírica: Avaliação abrangente em tarefas sintéticas de previsão de funções e benchmarks de LLM (Paridade Esparsa, CodeIO).

4. Resultados Experimentais

Os autores avaliam o RTE contra baselines indutivas padrão e variantes oráculo (que têm acesso a decomposições verdadeiras).

• Previsão de Funções Sintéticas:

  • Extrapolação de Parâmetros: Modelos indutivos falham catastróficamente (MSE $\approx 10^5$) em parâmetros fora do intervalo devido à saturação de fronteira. O RTE reduz significativamente o erro (MSE $\approx 10^2$), fechando a lacuna em direção ao desempenho do oráculo.
  • Extrapolação de Comprimento: O RTE supera substancialmente as baselines ingênuas na previsão de polinômios de alto grau (MSE 0,37 vs 0,58), embora uma lacuna permaneça em comparação com o oráculo devido à recuperação imperfeita da âncora.
  • Extrapolação Composicional: O RTE alcança um MSE agregado menor (0,29) do que as baselines (0,39) em composições de funções não vistas, inferindo com sucesso as primitivas subjacentes.

• Experimentos com LLMs:

  • Paridade Esparsa (Comprimento): O RTE melhora a precisão de 52,86% (Baseline) para 66,07% em tamanhos de subconjunto não vistos durante o treinamento, recuperando a estrutura recursiva.
  • CodeIO (Composição): O RTE quase duplica a precisão (45,3%) em comparação com Few-Shot (19,8%) e baselines de Cadeia de Pensamento (30,2%), restringindo efetivamente o modelo a passos algorítmicos válidos.

5. Significado e Limitações

O artigo afirma que o RTE fornece uma abordagem principial para generalização explorando a estrutura relacional dos espaços de tarefas. Ele demonstra que os modelos podem extrapolar além de seu suporte de treinamento se aprenderem a decompor novas tarefas em componentes e transformações conhecidos.

Limitações e Direções Futuras:

• Custo de Inferência: O RTE requer computação no momento do teste para identificar decomposições ótimas, ao contrário de modelos indutivos de passagem única.
• Densidade do Variedade (Alcançabilidade): O RTE assume que a tarefa-alvo é alcançável por meio de uma transformação existente na distribuição de treinamento. Mecanismos completamente alienígenas permanecem inatingíveis.
• Identificabilidade: Nos regimes discretos, a abordagem atual depende de metadados relacionais verdadeiros durante o treinamento. Embora os autores proponham auto-rotulagem via Expectation-Maximization para relaxar isso, inferir estrutura relacional latente do zero permanece um desafio aberto.
• Extrapolação Multi-etapa: Embora os resultados iniciais mostrem sucesso com deslocamentos iterativos, encadear múltiplas transformações sem erros cumulativos requer investigação adicional.

Os autores enfatizam que o RTE não é uma solução universal de caixa preta, mas é especificamente projetado para domínios que possuem uma estrutura relacional subjacente, oferecendo um caminho para que os modelos internalizem e reutilizem mecanismos generativos em vez de depender de heurísticas de superfície.