⚡ electrical engineering

Every Sample Counts: Supervised Fine-Tuning of Language Models with Pointwise Constraints

Este artigo propõe um novo framework de ajuste fino supervisionado que impõe restrições por amostra por meio de uma relaxação aprendida e dependente da amostra e uma abordagem de otimização lagrangiana aumentada, reduzindo efetivamente as violações de restrições de cauda em diversas tarefas como segurança, preferências e controle de comprimento, ao mesmo tempo em que preserva o desempenho geral do modelo.

Autores originais: Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

Publicado 2026-07-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um robô chef para fazer o sanduíche perfeito. Seu objetivo é duplo: fazer com que ele tenha um gosto delicioso (o objetivo principal) e garantir que ele nunca use veneno (a restrição).

Por muito tempo, a maneira padrão de ensinar esse robô era olhar para a média de todos os sanduíches que ele fazia. Se o robô fizesse 99 sanduíches seguros e 1 venenoso, a "média" ainda poderia parecer segura o suficiente para passar no teste. O problema? Esse único sanduíche venenoso poderia ser o único que um cliente específico receberia, e isso seria um desastre.

Este artigo, intitulado "Every Sample Counts" (Cada Amostra Conta), argumenta que precisamos parar de olhar para a média e começar a verificar cada um dos sanduíches (cada entrada individual) para garantir que nenhum deles seja venenoso.

O Problema da Segurança pela "Média"

Os autores mostram que os métodos atuais são como um professor que apenas verifica a nota média da classe. Se a média da classe é A, o professor fica feliz, mesmo que um aluno tenha reprovado totalmente no teste. No mundo da IA, isso significa que os modelos podem ser "seguros na média", mas ainda assim falhar de forma espetacular em solicitações difíceis ou raras (a "cauda" dos dados).

O artigo argumenta explicitamente contra a dependência de restrições baseadas na média ou penalidades fixas simples (como uma multa de "tamanho único"). Eles descobriram que, mesmo que você torne a regra da média mais rigorosa, o robô ainda cometerá erros enormes ocasionalmente nas tarefas mais difíceis. É como apertar o limite de velocidade para toda a rodovia; os carros rápidos podem diminuir um pouco, mas os motoristas imprudentes nas estradas secundárias continuarão correndo.

A Nova Solução: Um Treinador Personalizado

Os autores propõem um novo framework chamado Pointwise Constrained Fine-Tuning (Ajuste Fino com Restrição Ponto a Ponto). Pense nisso como dar ao robô chef um treinador pessoal que observa cada um dos sanduíches enquanto eles estão sendo feitos.

A Regra do "Cada Amostra": Em vez de apenas verificar a média, o treinador garante que cada um dos sanduíches atenda ao limite de segurança. Se o robô tentar usar veneno em apenas um sanduíche, o treinador o interrompe imediatamente.
O Lagrangiano Aumentado (A Penalidade Inteligente): Para fazer essa matemática funcionar sem "quebrar o cérebro" do robô, eles usam um truque inteligente chamado "Lagrangiano Aumentado". Imagine que o treinador não apenas grita "Não!", mas ajusta dinamicamente a dificuldade do treinamento. Se um sanduíche é fácil de fazer com segurança, o treinador é relaxado. Se um sanduíche é complicado, o treinador aperta as regras apenas para aquele momento específico. Isso garante que o robô aprenda a lidar com os casos difíceis sem esquecer como fazer os fáceis.
A Válvula de Escape de "Relaxamento": Às vezes, um pedido é tão estranho ou impossível que seguir a regra perfeitamente arruinaria o sanduíche inteiramente (como pedir para fazer um sanduíche de ar). Os autores introduzem um "relaxamento aprendido". Isso é como uma válvula de segurança inteligente: o treinador permite uma exceção minúscula e calculada apenas se for absolutamente necessário, mas cobra um "custo" por fazer isso. Dessa forma, o robô não trava, mas ainda tenta o seu melhor para seguir as regras.

O Que Eles Descobriram (A Evidência)

A equipe testou essa ideia em três diferentes "cozinhas" (tarefas):

Chamada de Ferramentas (Tool Calling): Ensinar um robô quando usar uma ferramenta e quando dizer "eu não posso fazer isso".
Segurança: Garantir que o robô recuse solicitações prejudiciais sem recusar solicitações inofensivas.
Reclassificação (Re-ranking): Ordenar resultados de busca para que sejam mais curtos e rápidos sem perder a qualidade.

Em seus experimentos, que envolveram modelos com menos de 7 bilhões de parâmetros (pequenos o suficiente para rodar em uma única placa de vídeo potente), eles mediram os resultados cuidadosamente.

O Problema da "Cauda" Resolvido: Quando observaram a distribuição de erros, o método deles (a abordagem "ponto a ponto") teve quase zero violações graves. Em contraste, os antigos métodos baseados na "média" ainda apresentavam uma "cauda longa" de erros grandes. Por exemplo, nos testes de segurança, o método deles alcançou uma taxa de recusa de 100% em prompts prejudiciais, reduzindo a pontuação de utilidade em apenas cerca de 5%. Os métodos antigos, para obter a mesma segurança, cortaram a utilidade em 9%.
Melhores Trocas (Trade-offs): Eles mostraram que seu método cria um equilíbrio melhor (uma "fronteira de Pareto"). É como conseguir um carro mais rápido que também consome menos combustível, enquanto os métodos antigos forçavam você a escolher entre velocidade e eficiência de combustível.
Sem Magia, Apenas Matemática: Os autores são cuidadosos ao notar que isso não é uma varinha máica que resolve tudo. Eles mediram esses resultados em conjuntos de dados específicos (como o dataset "When2call" com 4,5 mil exemplos e o dataset "MS MARCO" com 50 mil instâncias de treinamento). Eles descobriram que, embora o método funcione muito bem para essas tarefas específicas, as garantias teóricas para todos os cenários possíveis ainda estão sendo desenvolvidas porque redes neurais são complexas e não são perfeitamente previsíveis.

A Conclusão

O artigo sugere que, se você quer uma IA que seja verdadeiramente confiável, não pode apenas olhar para a média. Você tem que aplicar as regras em cada amostra individual. Ao usar um sistema inteligente e dinâmico que ajusta as penalidades para cada entrada específica, você pode deter as falhas "raras, mas perigosas" sem tornar a IA pior em sua função principal. É uma mudança de "bom o suficiente na média" para "seguro todas as vezes".

Resumo Técnico: Cada Amostra Conta – Ajuste Fino Supervisionado de Modelos de Linguagem com Restrições Pontuais

1. Definição do Problema

Os métodos atuais para alinhamento e ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LMs) baseiam-se tipicamente em estruturas de otimização com restrições que impõem requisitos (como segurança, controle de comprimento ou preferências de chamada de ferramentas) apenas em expectativa sobre a distribuição de entrada. Embora esses métodos garantam que as restrições sejam satisfeitas em média, eles sofrem de uma limitação crítica: não garantem a satisfação das restrições para entradas individuais.

Essa abordagem de "apenas média" leva a disparidades indesejáveis, particularmente para dados de cauda (entradas que são sub-representadas no treinamento ou inerentemente mais difíceis). Evidências empíricas sugerem que modelos que satisfazem restrições em média podem ainda exibir violações significativas em subconjuntos críticos de entradas. Métodos existentes frequentemente falham em distinguir entre amostras "fáceis" e "difíceis", aplicando penalidades uniformes que ou penalizam excessivamente casos simples ou falham em restringir suficientemente os casos difíceis.

O artigo propõe uma mudança da aprendizagem com restrição média para o ajuste fino com restrição pontual, onde as restrições devem ser mantidas para quase todas as amostras individuais na distribuição de entrada, em vez de apenas em expectativa.

2. Metodologia

A estrutura proposta aborda os desafios de impor restrições pontuais na otimização de redes neurais não convexas através de três componentes principais:

A. Formulação de Restrição Pontual

Os autores formulam o problema de ajuste fino como a minimização de uma perda de objetivo esperada $\ell_0$ sujeita a restrições de desigualdade $\ell_i \leq \varepsilon$ que se mantêm pontualmente (quase em toda parte) sobre a distribuição de dados $D$ .
$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{s.t.} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-a.e.}$
Ao contrário das restrições médias que utilizam um único escalar multiplicador, esta formulação requer um multiplicador distinto para cada amostra, permitindo que a penalidade se adapte à dificuldade específica de cada entrada.

B. Abordagem de Lagrangiana Aumentada

Para resolver este problema não convexo, os autores utilizam o domínio dual. No entanto, a dualidade Lagrangiana padrão oferece garantias fracas para problemas não convexos (como redes neurais profundas) devido ao gap de dualidade. Para superar isso, o artigo emprega métodos de Lagrangiana Aumentada (AL).

O método AL substitui a dependência linear entre o multiplicador de Lagrange $\lambda$ e a violação da restrição por um termo quadrático.
Isso fornece uma correção de curvatura adicional, permitindo a dualidade forte e a recuperabilidade primal em uma gama mais ampla de configurações não convexas em comparação com as abordagens Lagrangianas padrão.
A otimização é realizada via Gradiente Ascendente Dual Empírico, onde o multiplicador funcional $\lambda(x,y)$ é aproximado por multiplicadores por amostra $\lambda_i$ para um conjunto de dados finito.

C. Relaxação Pontual Aprendida

As restrições pontuais podem ser excessivamente restritivas, especialmente na presença de outliers ou quando as restrições conflitam com o objetivo primário. Para mitigar isso, os autores introduzem uma relaxação aprendida e dependente da amostra.

Uma função de relaxação $u(x,y)$ é introduzida para aumentar o limite admissível de $\varepsilon$ para $\varepsilon + u(x,y)$ .
Uma função de custo convexa $c(u)$ (especificamente uma penalidade quadrática $\beta \|u\|^2$ ) é adicionada ao objetivo para penalizar a severidade e a frequência dessas relaxações.
Crucialmente, a variável de relaxação $u$ não precisa ser otimizada diretamente. Através da dualidade, seu efeito é absorvido no problema dual como um termo de regularização e um redimensionamento das variáveis duais. Isso permite que o modelo negocie um custo de relaxação definido pelo usuário contra o objetivo de treinamento, controlando efetivamente a "cauda" da distribuição de violação de restrição.

3. Principais Contribuições

Estrutura de Restrição Pontual: O artigo propõe um novo framework de alinhamento que impõe restrições em entradas individuais em vez de em expectativa, abordando a disparidade de desempenho através da distribuição de entrada.
Lagrangiana Aumentada para Aprendizagem Não Convexa: Os autores aplicam métodos de Lagrangiana Aumentada ao ajuste fino com restrição pontual, superando a falta de dualidade forte na otimização de redes neurais não convexas.
Mecanismo de Relaxação Aprendida: Um mecanismo é introduzido para resolver conjuntamente a tarefa de aprendizagem e a relaxação das restrições, minimizando um custo definido pelo usuário para lidar com outliers e objetivos conflitantes sem necessidade de ajuste manual de limiares por amostra.
Validação Empírica: A estrutura é instanciada através de três tarefas distintas de ajuste fino de pequenos modelos de linguagem (SLM):
- Seguimento de Instruções e Segurança: Impor a recusa de comandos prejudiciais enquanto mantém a utilidade em comandos seguros.
- Preferências de Chamada de Ferramentas: Impor a seleção correta de comportamento (ex: chamar uma ferramenta vs. alucinar) com restrições de log-probabilidade normalizadas pelo comprimento.
- Re-ranking e Otimização de Comprimento: Equilibrar relevância de recuperação com o comprimento do texto (eficiência de tokens).

4. Resultados

Os autores validam empiricamente que sua abordagem reduz as violações de restrição na cauda enquanto preserva amplamente o desempenho a jusante (downstream):

Redução de Violações de Cauda: Em todas as tarefas, o método proposto reduz significamente a frequência e a severidade das grandes violações de restrição em comparação com as bases de restrição média e de penalidade fixa. A Função de Distribuição Acumulada (CDF) das violações de restrição mostra que, enquanto os métodos de média satisfazem amostras "fáceis" com margens amplas, eles falham em amostras "difíceis"; a abordagem pontual garante um desempenho consistente.
Melhores Trade-offs: O método alcança melhores fronteiras de Pareto entre o objetivo (ex: utilidade, relevância) e as métricas de restrição.
- Na Segurança, o método pontual alcançou uma taxa de recusa de 100% em prompts inseguros com apenas uma redução de 5% na utilidade (win rate), enquanto as restrições médias exigiram uma redução de 9% na utilidade para atingir segurança similar.
- Na Chamada de Ferramentas, as restrições pontuais produziram uma melhoria mais uniforme entre as categorias de erro comparado a métodos que enviesavam o desempenho para categorias específicas.
- No Re-ranking, o método reduziu com sucesso o comprimento do texto sem degradar as métricas de relevância (MRR@10), um trade-off que as restrições médias não conseguiram alcançar sem sacrificar a qualidade.
Controle de Relaxação: O hiperparametro $\beta$ no custo de relaxação controla efetivamente o equilíbrio entre a adesão estrita à restrição e o desempenho do objetivo, permitindo que os usuários ajustem o comportamento do modelo com base em tolerâncias de risco específicas.

5. Significância e Alegações

O artigo alega que impor restrições por amostra é uma evolução necessária para o implante de LMs em domínios de alto risco, onde o desempenho médio é insuficiente. A significância do trabalho reside em:

Abordar Disparidades Distribuicionais: Ele lida diretamente com a questão de modelos que apresentam desempenho inferior em dados de cauda, garantindo que restrições críticas (como segurança) não sejam violadas para entradas específicas, potencialmente vulneráveis.
Otimização Prática: Ao utilizar métodos de Lagrangiana Aumentada e relaxação aprendida, a estrutura fornece uma solução escalável e prática para restrições pontuais que evita a intratabilidade de impor restrições rígidas em cada amostra sem relaxação.
Flexibilidade: A estrutura demonstra ser adaptável a diversas restrições (segurança, preferências, comprimento) e tarefas, oferecendo uma abordagem unificada para o ajuste fino com restrição que supera os métodos existentes de restrição média e de penalidade fixa na redução de violações de pior caso.

Os autores concluem que, embora as restrições médias possam ser suficientes para o desempenho geral, as restrições pontuais são essenciais para um implante robusto, equitativo e seguro, oferecendo trade-offs superiores entre utilidade e satisfação de restrições.