🤖 machine learning

Towards a theory of inference-time alignment with unknown rewards

Este artigo estabelece um arcabouço de aprendizado PAC para o alinhamento em tempo de inferência sob recompensas desconhecidas ao definir uma nova "dimensão de alinhamento" que caracteriza plenamente a aprendibilidade e propor um algoritmo baseado em torneio usando o grafo de uma inclusão para transformar uma política de referência fraca em um aprendiz forte.

Autores originais: Steve Hanneke, Hongao Wang, Mingyue Xu

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Steve Hanneke, Hongao Wang, Mingyue Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, que evolui rapidamente, um desafio central é garantir que os programas de computador se comportem de maneiras que correspondam às intenções humanas. Embora os sistemas modernos possam gerar textos fluentes e resolver problemas complexos, eles às vezes produzem resultados sem sentido, prejudiciais ou simplesmente inúteis. Para corrigir isso, pesquisadores desenvolveram métodos para "alinhar" esses modelos com os valores humanos. Uma abordagem comum envolve treinar o modelo em vastas quantidades de dados onde humanos ou outras IAs classificaram diferentes respostas, ensinando o sistema a preferir boas respostas em vez de más. Outra abordagem, conhecida como alinhamento em tempo de inferência, não altera o código interno do modelo. Em vez disso, atua como um filtro no momento do uso: o sistema gera várias respostas possíveis, e um mecanismo de pontuação separado escolhe a melhor para mostrar ao usuário. Este método é popular porque é flexível e não exige o processo caro de retreinar todo o sistema. No entanto, embora essas técnicas funcionem bem na prática, os cientistas têm lutado para explicar exatamente por que elas funcionam ou o que limita seu sucesso do ponto de vista matemático.

Uma equipe de pesquisadores da Universidade de Purdue deu agora um passo importante para preencher essa lacuna, construindo uma nova estrutura estatística para entender o alinhamento em tempo de inferência. Eles abordaram o problema como uma tarefa de aprendizado onde um ponto de partida "fraco" é melhorado em um resultado "forte" usando dados. Imagine um modelo de referência que é geralmente competente, mas ocasionalmente comete erros; ele serve como uma base que gera uma lista de respostas candidatas. O objetivo é usar um conjunto de dados de preferências humanas para ensinar um novo sistema a escolher de forma confiável a única melhor resposta dessa lista, todas as vezes. Os pesquisadores fizeram uma pergunta fundamental: sob quais condições é realmente possível aprender esta habilidade de seleção apenas a partir de dados, sem qualquer conhecimento prévio de como o sistema de pontuação funciona? Eles descobriram que a resposta depende inteiramente da complexidade das regras usadas para julgar as respostas.

A equipe descobriu que nem todos os conjuntos de regras de julgamento podem ser aprendidos. Eles introduziram uma nova maneira de medir a complexidade dessas regras, que chamam de "dimensão de alinhamento". Pense nesta dimensão como uma medida de quantas maneiras diferentes as regras podem contradizer ou confundir o sistema. Se este número for finito, significando que as regras têm um nível de complexidade gerenciável, então é possível projetar um algoritmo que eventualmente aprenderá a escolher a resposta correta com precisidade quase perfeita, dado dados suficientes. Se a dimensão for infinita, as regras são muito caóticas para serem aprendidas a partir de dados, não importa quanta informação seja coletada. Esta descoberta fornece uma garantia matemática completa: um sistema de recompensa é aprendível se, e somente se, sua dimensão de alinhamento for finita. Esta é uma mudança significativa em relação às teorias anteriores, que frequentemente assumiam que os pesquisadores já tinham uma compreensão perfeita do sistema de pontuação ou que as regras eram simples o suficiente para serem descritas por um número fixo de parâmetros.

Para provar isso, os pesquisadores projetaram um procedimento de aprendizado específico que opera como um torneio. Quando o sistema precisa escolher uma resposta, ele não simplesmente olha para os dados uma vez e faz um palpite. Em vez disso, ele compara pares de grupos de respostas possíveis entre si. Para cada par de grupos onde nenhum é claramente um subconjunto do outro, o sistema executa um algoritmo de comparação especializado para decidir qual grupo é mais provável de conter a resposta correta. Ao executar essas comparações em todos os pares possíveis, o sistema reduz o campo até que reste um pequeno conjunto altamente confiável de candidatos a partir do qual selecionar a resposta final. Este método funciona ao aproveitar o fato de que o modelo inicial, embora imperfeito, tem uma chance constante de gerar uma boa resposta. Ao amostrar candidatos suficientes e usar a lógica de torneio para filtrá-los, o sistema pode elevar sua taxa de sucesso para um nível arbitrariamente alto.

O artigo também esclarece o que esta nova teoria descarta. Ele mostra que simplesmente tentar memorizar as melhores respostas de um conjunto de treinamento, um método conhecido como minimização do risco empírico, não é suficiente por si só. Em alguns casos, um sistema pode precisar depender da estrutura específica dos dados e da capacidade de amostrar novos candidatos no momento do teste, em vez de apenas recordar o que viu durante o treinamento. Os pesquisadores demonstraram que, para certos tipos de sistemas de recompensa complexos, nenhuma quantidade de dados de treinamento permitiria que um algoritmo de aprendizado padrão tivesse sucesso sem este passo adicional de amostragem. O trabalho deles sugere que a chave para um alinhamento bem-sucedido reside na interação entre a complexidade das regras de recompensa e a capacidade de gerar múltiplas opções no momento do teste.

Esta pesquisa representa um passo fundamental em direção a uma teoria rigorosa do alinhamento de IA. Ao definir as condições exatas sob as quais o alinhamento é possível, os autores oferecem um alvo claro para o desenvolvimento futuro. Eles moveram o campo além do método de tentativa e erro, oferecendo uma prova matemática que diz aos engenheiros exatamente quando suas estratégias de alinhamento funcionarão e quando falharão. Embora o estudo atual se concentre em recompensas binárias — onde uma resposta é boa ou má — a estrutura abre as portas para a compreensão de sistemas de pontuação mais complexos, de valores reais. O objetivo final é estabelecer um conjunto de princípios que possam guiar a criação de sistemas de IA mais seguros e confiáveis, garantindo que, à medida que esses modelos se tornem mais poderosos, sua capacidade de seguir a intenção humana permaneça matematicamente garantida.

Resumo Técnico: Rumo a uma teoria de alinhamento em tempo de inferência com recompensas desconhecidas

Formulação do Problema
Este trabalho aborda os fundamentos do aprendizado estatístico do alinhamento em tempo de inferência, um paradigma onde as respostas de um modelo generativo são selecionadas ou direcionadas no momento do teste com base em um sinal de recompensa, sem atualizar os parâmetros do modelo (ao contrário do Aprendizado por Reforço com Feedback Humano/IA, RLHF). Os autores formulam isso como um problema de aprendizado fraco-para-forte sob a suposição de recompensas desconhecidas.

O cenário envolve:

Política de Referência ( $\pi_{ref}$ ): Um "aprendiz fraco" (por exemplo, um modelo pré-treinado ou SFT) que gera respostas candidatas. Assume-se que ele possui uma probabilidade constante $\gamma$ de gerar uma resposta "boa" (recompensa $r^*(x, y) = 1$ ) para qualquer entrada $x$ .
Classe de Recompensa ( $\mathcal{R}$ ): Um conjunto de funções de recompensa binárias $r: \mathcal{X} \times \mathcal{Y} \to \{0, 1\}$ . A recompensa verdadeira $r^*$ é desconhecida, mas pertence a $\mathcal{R}$ .
Geração de Dados: Os dados de treinamento consistem em $m$ amostras i.i.d. Cada amostra inclui uma entrada $x_i$ e uma "lista" (slate) de $k$ respostas $\{y_i^{(1)}, \dots, y_i^{(k)}\}$ extraídas de $\pi_{ref}(\cdot|x_i)$ . O aprendiz observa o conjunto de índices de respostas boas $A_{r^*}(z_i) = \{j : r^*(x_i, y_i^{(j)}) = 1\}$ .
Objetivo: Projetar um algoritmo de aprendizado que, dado um input de teste $x$ e uma lista de $k$ candidatos de $\pi_{ref}$ , selecione um índice $j$ tal que $r^*(x, y^{(j)}) = 1$ com alta probabilidade ( $1-\epsilon$ ).

Os autores distinguem seu trabalho da literatura teórica existente ao remover a suposição de acesso a um modelo de recompensa pré-estimado. Em vez disso, tratam o problema como um aprendizado do zero, onde a própria função de recompensa deve ser inferida a partir de dados de preferência finitos.

Metodologia e Conceitos Centrais
O artigo introduz uma nova dimensão combinatória para caracterizar a aprendibilidade da classe de recompensa:

Dimensão de Alinhamento ( $d_{ALN}(\mathcal{R})$ ):
Um conjunto de entradas $\{x_1, \dots, x_d\}$ é alinhado e fragmentado (alignment shattered) por $\mathcal{R}$ se existirem pares de respostas $(y_i^{(0)}, y_i^{(1)})$ tais que, para qualquer vetor binário $b \in \{0, 1\}^d$ , exista uma função de recompensa $r_b \in \mathcal{R}$ satisfazendo $r_b(x_i, y_i^{(b_i)}) = 1$ e $r_b(x_i, y_i^{(1-b_i)}) = 0$ . A dimensão de alinhamento é o tamanho do maior conjunto assim fragmentado.
Dimensão de Natarajan Não-Dominante:
Para provar a aprendibilidade, os autores relacionam o problema ao algoritmo de Gráfico de Uma Inclusão (OIG) usado para classes de conceitos parciais. Eles definem uma "dimensão de Natarajan não-dominante" para a classe de aceitação induzida por conjuntos. Eles provam que esta dimensão é limitada superiormente pela dimensão de alinhamento.
Algoritmo de Aprendizado (Torneio sobre Pares Não-Dominantes):
O procedimento de aprendizado proposto é transdutivo e opera no tempo de teste:

Para uma lista de teste $Z$ , o algoritmo considera todos os pares de subconjuntos não vazios de índices $(A, B)$ tal que nenhum é subconjunto do outro ( $A \not\subseteq B$ e $B \not\subseteq A$ ).
Para cada par, constrói-se um subconjunto de treinamento contendo instâncias onde o conjunto de aceitação verdadeiro era ou $A$ ou $B$ .
Executa-se o algoritmo OIG sobre este subconjunto para prever se o verdadeiro conjunto de aceitação é $A$ ou $B$ .
Este processo forma um "torneio" que reduz os possíveis conjuntos de aceitação a uma cadeia. A previsão final é qualquer índice de resposta contido na interseção dos conjuntos sobreviventes.

Resultados Principais
O artigo estabelece uma caracterização completa da aprendibilidade de alinhamento:

Teorema 1: Uma classe de recompensa $\mathcal{R}$ $R$ é aprendível por alinhamento se, e somente se, sua dimensão de alinhamento $d_{ALN}(\mathcal{R})$ $d_{A L N} (R)$ for finita.
- Limite Superior (Teorema 2): Se $d_{ALN}(\mathcal{R}) < \infty$ , o algoritmo de torneio proposto alcança a $(\epsilon, \delta)$ -aprendibilidade com um tamanho de amostra $m$ e tamanho de lista de inferência $k$ que são funções finitas da dimensão, $\epsilon$ , $\delta$ e $\gamma$ .
- Limite Inferior (Teorema 3): Se $d_{ALN}(\mathcal{R}) = \infty$ , nenhum algoritmo de aprendizado pode alcançar a aprendibilidade de alinhamento com amostras finitas. A prova constrói uma instância difícil usando o método probabilístico, mostrando que a dimensionalidade infinita implica a existência de distribuições onde o aprendiz não consegue distinguir a função de recompensa verdadeira.

Significância e Alegações
Os autores posicionam este trabalho como um passo pioneiro em direção a uma teoria rigorosa do aprendizado estatístico para problemas gerais de alinhamento. As principais alegações relativas à contribuição do artigo incluem:

Estrutura Nova: É o primeiro trabalho a formular o alinhamento em tempo de inferência como um problema de aprendizado estatístico onde a recompensa é desconhecida e aprendida inteiramente a partir de dados, distinguindo-se de trabalhos anteriores que assumem o acesso a uma boa estimativa de recompensa.
Caracterização Teórica: A introdução da dimensão de alinhamento fornece uma condição necessária e suficiente para a aprendibilidade, análoga à dimensão VC em classificação binária, mas adaptada às restrições específicas de selecionar uma resposta boa entre múltiplos candidatos.
Distinção de Paradigmas Existentes: Os autores esclarecem que seu cenário difere do aprendizado multiclasse (onde um rótulo é correto) e do aprendizado de listas (onde uma lista de rótulos é saída). Em seu cenário, múltiplas respostas podem ser corretas, mas o aprendiz deve identificar com sucesso uma delas.
Modéstia no Escopo: Os autores reconhecem limitações, observando que sua formulação atual assume recompensas binárias e cenários realizáveis. Eles declaram explicitamente que seu procedimento de aprendizado é não convencional (dependendo de computação em tempo de teste e suposições de ordenação de tuplas) e que estender a teoria para dados de treinamento de resposta única, recompensas de valor real ou aprendizado baseado em preferências (modelos Bradley-Terry) permanece como uma direção aberta para trabalhos futuros.

O artigo conclui que estabelecer a dimensão de alinhamento como a medida fundamental de complexidade oferece uma base teórica para entender quando e como o alinhamento em tempo de inferência é possível, potencialmente guiando o desenvolvimento de princípios mais sistemáticos para o alinhamento prático.

Mais como este