🤖 machine learning

LLM REgression with a Latent Iterative State Head

O artigo apresenta o RELISH, uma arquitetura leve e eficiente que supera os métodos existentes de regressão em LLMs ao prever valores escalares diretamente a partir de representações de modelos congelados, refinando iterativamente um estado latente com apenas uma fração mínima de parâmetros adicionais.

Autores originais: Yiheng Su, Matthew Lease

Publicado 2026-04-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiheng Su, Matthew Lease

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio da lâmpada (o Modelo de Linguagem Grande, ou LLM) que é incrivelmente inteligente, sabe tudo sobre o mundo, pode escrever poemas, traduzir idiomas e responder a perguntas complexas. No entanto, quando você pede a esse gênio para fazer uma estimativa numérica (como "qual a nota de 0 a 5 para a similaridade entre estas duas frases?" ou "qual a qualidade desta tradução?"), ele tende a falhar.

Por que? Porque o gênio foi treinado para falar, não para contar. Quando você pede um número, ele tenta "adivinhar" qual palavra (token) escrever em seguida, como se estivesse completando uma frase. É como pedir para um pintor de quadros desenhando um número: ele pode tentar escrever "3.5", mas pode errar a pontuação, escrever "3,5" ou "três e meio", e o computador não sabe exatamente o que você quer.

O papel "RELISH" (que significa "tempero" ou "sabor" em inglês) apresenta uma solução inteligente e leve para esse problema. Vamos explicar como funciona usando analogias do dia a dia.

O Problema: O Gênio que Fala Demais

Existem três formas principais de tentar fazer esses modelos darem números:

O Método "Escreva a Resposta" (Decodificação Autoregressiva): Você pede ao modelo: "Escreva o número". O modelo começa a "pensar em voz alta" e escrever "3... ponto... 5". O problema é que ele pode errar a pontuação ou escrever "3.500" em vez de "3.5". É como pedir para alguém ditar um número de telefone: se ele errar um dígito, o número fica inútil.
O Método "Tente Muitas Vezes" (Inferência Consciente de Regressão): Você pede ao modelo para gerar 100 respostas diferentes e tira a média delas para ver qual é o número mais provável. Isso funciona melhor, mas é muito lento e caro, como pedir para 100 pessoas votarem e depois contar os votos manualmente.
O Método "Só Olhe a Resposta" (Cabeças Preditivas Simples): Você para o modelo de falar e pede para ele apenas "olhar" para o que aprendeu e dar um número direto. O problema aqui é que os métodos antigos são como peneiras grossas: eles pegam todo o texto, misturam tudo num único "saco" (uma média simples) e tentam extrair o número. Mas, ao misturar tudo, você perde os detalhes finos que são importantes para a precisão.

A Solução: RELISH (O Chefe de Cozinha Inteligente)

O RELISH é uma nova "cabeça" (um módulo extra) que se conecta ao modelo, mas não o faz falar. Em vez disso, ele age como um Chefe de Cozinha que tem uma receita secreta para extrair o sabor exato de um prato sem precisar provar cada ingrediente individualmente.

Aqui está como o RELISH funciona, passo a passo:

Não Fale, Apenas Sinta: O RELISH não pede ao modelo para escrever o número. Ele olha diretamente para as "memórias" internas do modelo (os dados que o modelo já processou).
O "Detetive Iterativo" (Refinamento Latente): Em vez de apenas tirar uma média rápida (como os métodos antigos), o RELISH usa um detetive que revisa a informação várias vezes.
- Imagine que você tem uma pilha de documentos (o texto) e precisa encontrar um número específico.
- Um método antigo leria o topo da pilha e chutaria.
- O RELISH pega um post-it mágico (um estado latente) e o passa por cima de cada documento, perguntando: "Isso é importante para o número? E isso aqui? E ali?".
- Ele faz isso várias vezes (iterativamente). A cada volta, o post-it fica mais "sábio", refinando sua compreensão do que é importante e descartando o que não é.
O Resultado: Depois de 3 ou 4 passadas de "detetive", o post-it contém a informação perfeita, e o RELISH converte isso em um número exato.

Por que o RELISH é Especial?

É Leve como uma Pluma: A maioria das soluções exige treinar o modelo inteiro ou adicionar uma quantidade enorme de memória (como o LoRA, que é pesado). O RELISH é tão pequeno que adiciona apenas 0,01% a 0,04% de peso extra. É como adicionar um tempero a um prato gigante: muda o sabor completamente, mas não pesa nada.
É Rápido: Como ele não precisa gerar texto nem fazer 100 tentativas, ele dá a resposta em uma única passada. É como ter um GPS que calcula a rota instantaneamente, em vez de pedir para 100 motoristas tentarem caminhos diferentes.
Funciona em Qualquer Modelo: O RELISH funciona bem em modelos pequenos (8 bilhões de parâmetros) e gigantes (32 bilhões), mantendo sua eficiência.

O Resultado Final

Em testes reais (como avaliar a qualidade de traduções ou a similaridade entre frases), o RELISH bateu todos os concorrentes.

Ele foi mais preciso que o método de "escrever o número".
Foi mais rápido que o método de "tentar várias vezes".
Foi mais inteligente que os métodos de "média simples".

Resumo em uma frase:
O RELISH é como um sommelier (especialista em vinhos) treinado que consegue dizer exatamente a nota de um vinho apenas olhando para a garrafa e cheirando o aroma (os dados internos), sem precisar provar o vinho inteiro (gerar texto) ou pedir para 100 pessoas provarem (múltiplas amostras). Ele é rápido, barato e extremamente preciso.

Título: RELISH: Regressão com LLMs via Cabeça de Estado Latente Iterativo

1. O Problema

Com a ascensão dos Grandes Modelos de Linguagem (LLMs), a maioria das tarefas de Processamento de Linguagem Natural (PLN) foi unificada sob o paradigma "texto-para-texto". No entanto, tarefas preditivas como regressão (onde o objetivo é prever um valor escalar contínuo, e não um texto) apresentam desafios significativos quando aplicadas a LLMs:

Incompatibilidade de Paradigma: Os LLMs são pré-treinados para prever o próximo token (texto). Forçá-los a gerar números como texto (ex: "3.5") para regressão é subótimo. A função de perda de linguagem (entropia cruzada) trata "3.5" e "3.6" como tokens discretos e distintos, ignorando a proximidade numérica, enquanto a regressão exige minimizar o erro numérico (ex: MSE prefere 3.5 a 3.6 quando o alvo é 3.55).
Limitações das Abordagens Atuais:
- Decodificação Autoregressiva: Gera strings numéricas, sofrendo com ruído na verbalização e falta de alinhamento com a métrica de erro numérico.
- Inferência Consciente de Regressão (RAIL): Melhora a precisão ao calcular médias posteriores, mas exige múltiplas amostras (inferência cara) e ainda depende da geração de texto.
- Cabeças Preditivas (Predictive Heads): Mapeiam representações internas diretamente para números, sendo eficientes, mas geralmente usam heurísticas de pooling simples (como média), que podem perder informações granulares necessárias para a regressão precisa.

O objetivo é criar uma arquitetura que combine a eficiência das cabeças preditivas (inferência em uma única passagem) com a precisão de métodos mais complexos, sem depender da geração de texto.

2. Metodologia: RELISH

Os autores propõem o RELISH (REgression with a Latent Iterative State Head), uma arquitetura leve e expressiva projetada para extrair valores escalares diretamente das representações internas de um LLM congelado.

Principais Componentes:

Estado Latente Aprendido: Em vez de usar um vetor fixo ou pooling estático, o RELISH mantém um estado latente inicial aprendível, $r^{(0)}$ .
Refinamento Iterativo via Cross-Attention: O estado latente é refinado iterativamente ( $L$ $L$ vezes) através de blocos de atenção cruzada sobre as representações de tokens do LLM ( $H(x)$ $H (x)$ ).
- Em cada passo $i$ , o estado atual atua como query, enquanto as representações dos tokens atuam como keys e values.
- Isso permite que o modelo "foque" seletivamente em partes específicas da sequência de entrada que são mais relevantes para a previsão numérica, em vez de apenas comprimir toda a sequência em um vetor médio.
Regressor Linear Final: Após $L$ iterações, o estado final $r^{(L)}$ é mapeado para um valor escalar através de uma camada linear simples ( $\hat{y} = w^T r^{(L)} + b$ ).

Treinamento:

O backbone do LLM permanece congelado.
Apenas os parâmetros do RELISH são treinados (matriz de projeção, estado latente inicial, blocos de refinamento e pesos lineares).
Utiliza-se a Função de Perda de Huber em alvos normalizados (z-score) para robustez contra outliers.

3. Contribuições Chave

Nova Arquitetura Preditiva: Introdução do RELISH, que substitui o pooling estático por um mecanismo de refinamento iterativo de estado latente, superando o "gargalo de sumarização" das cabeças preditivas tradicionais.
Comparação Unificada: Uma análise empírica abrangente comparando três famílias de métodos (decodificação autoregressiva, inferência consciente de regressão e cabeças preditivas) em cinco conjuntos de dados e quatro backbones de LLMs (8B a 32B).
Eficiência Paramétrica Extrema: O RELISH demonstra que é possível obter desempenho de ponta com um custo de treinamento insignificante, exigindo apenas ~3.4–3.7 milhões de parâmetros treináveis (0.01%–0.04% do modelo base), independentemente do tamanho do LLM. Isso contrasta fortemente com métodos baseados em LoRA, cujo custo cresce com o tamanho do modelo (0.26%–0.42%).

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco conjuntos de dados (STS-B, SICK-R, e três tarefas de estimativa de qualidade de tradução WMT) e quatro modelos (Llama 3.1, Qwen3, Gemma 3).

Desempenho Superior: O RELISH superou consistentemente todos os baselines, incluindo os métodos mais avançados como RAFT (fine-tuning consciente de regressão) e RAIL.
- Em comparação com o segundo melhor método (RAFT), o RELISH melhorou a correlação de Pearson em 6.7%, a correlação de Spearman em 7.2% e reduziu o RMSE normalizado em 19.9%.
Eficiência:
- O RELISH mantém a eficiência de inferência de uma única passagem (single-pass), ao contrário dos métodos que exigem múltiplas amostras (como RAIL/RAFT).
- O número de parâmetros treináveis é quase invariante ao tamanho do backbone do LLM, enquanto o custo do LoRA escala linearmente com o tamanho do modelo.
Robustez: O modelo manteve o desempenho superior em diferentes regimes de treinamento (backbone congelado vs. fine-tuning com LoRA) e em tarefas de diferentes escalas (0-5, 0-100).

5. Significado e Impacto

O trabalho do RELISH é significativo por várias razões:

Superação do "Gap de Verbalização": Demonstra que forçar LLMs a "falar" números é ineficiente para regressão. Extrair diretamente dos estados internos, através de um mecanismo de atenção refinado, é uma abordagem arquiteturalmente mais natural e precisa.
Viabilidade para Aplicações em Escala: A extrema eficiência paramétrica torna o RELISH viável para implantação em modelos grandes onde o fine-tuning completo ou o uso de LoRA seria proibitivamente caro em termos de memória e computação.
Aplicações Potenciais: A arquitetura é diretamente aplicável a tarefas críticas como:
- Modelagem de Recompensa (Reward Modeling): Para alinhamento de RLHF.
- LLM-as-a-Judge: Para avaliação de respostas de IA com pontuações numéricas precisas.
- Estimativa de Incerteza: Potencialmente estendido para elicitar distribuições de probabilidade.

Em resumo, o RELISH estabelece um novo estado da arte para regressão baseada em LLMs, provando que a extração iterativa e seletiva de informações latentes é superior tanto à geração de texto quanto ao pooling estático, tudo isso com um custo computacional mínimo.