Steerable Chatbots: Exploring Personalization Control Interfaces via LLM Activation Steering

Resumo Técnico: Chatbots Direcionáveis via Direcionamento de Ativação de LLM

Declaração do Problema
Os paradigmas atuais para a personalização de respostas de Grandes Modelos de Linguagem (LLMs) dependem fortemente de usuários articulando preferências por meio de prompts de linguagem natural. Esta abordagem apresenta duas barreiras significativas: (1) o problema do "cold-start" (início a frio), onde os usuários carecem de histórico de conversação para que o modelo recupere preferências, e (2) a carga cognitiva de estruturar preferências complexas em prompts eficazes, uma habilidade que muitos usuários leigos não possuem. Soluções técnicas existentes, como geração aumentada por recuperação (RAG) ou ajuste fino (fine-tuning) do modelo, são computacionalmente intensivas e exigem uma quantidade substancial de dados do usuário, tornando-as inadequadas para uma personalização imediata e granular. Os autores propõem uma mudança da especificação baseada em prompting para a manipulação direta do comportamento do modelo para alinhar as saídas do LLM com as preferências latentes do usuário.

Metodologia
O artigo introduz os "Chatbots Direcionáveis" (Steerable Chatbots), um paradigma onde os usuários manipulam um fator escalar linear para controlar a força e a direção de dimensões de preferência específicas dentro da saída de um LLM. Isso é alcançado através do direcionamento de ativação (activation steering), uma técnica que injeta "vetores de direcionamento" pré-computados no fluxo residual do modelo durante a inferência.

1. Implementação Técnica:

   • Vetores de Direcionamento: Os autores computam vetores ao contrastar representações desejáveis e indesejáveis de um comportamento (ex: "luxo" vs. "econômico") usando sondas lineares por camada treinadas em amostras de dados positivas e negativas.
   • Mecanismo de Direcionamento: Durante a inferência, o vetor de direcionamento ($v$) é adicionado às representações intermediárias ($h$) do LLM, escalonado por um fator de força definido pelo usuário ($d$): $h_{steered} \leftarrow h + d \cdot v$.
   • Métricas de Avaliação: A expressão de preferência é quantificada usando a similaridade de cosseno relativa entre os embeddings de saída do LLM e conjuntos de dados de referência (avaliações do Yelp) que representam traços de preferência específicos (Custo, Ambiente, Idade, Tempo, Culinária).

2. Designs de Interface:
   Os autores exploram três designs de interface distintos mapeados em dois eixos: Agência (Liderada pelo Usuário vs. Liderada pelo Sistema) e Fluidez (Estática vs. Adaptativa):

   • SELECT (Alta Agência, Média Fluidez): Usuários manipulam diretamente um controle deslizante (-100 a 100) em tempo real para ajustar o fator de direcionamento. Isso permite o controle imediato e explícito sobre as dimensões de preferência.
   • CALIBRATE (Média Agência, Baixa Fluidez): Antes da conversa, os usuários passam por um processo de calibração onde selecionam iterativamente saídas preferidas de pares de respostas geradas com diferentes forças de direcionamento. O sistema converge para um valor de preferência estático para a sessão.
   • LEARN (Baixa Agência, Alta Fluidez): O sistema infere implicitamente as preferências do usuário a partir do sentimento da conversa e atualiza o fator de direcionamento em segundo plano sem entrada explícita do usuário, exibindo a força inferida para transparência.

3. Configuração Experimental:

   • Experimentos Computacionais: Validados em cinco LLMs de código aberto (variando de 1.6B a 9B de parâmetros) para garantir a confiabilidade do direcionamento (E1) e sua composibilidade com o prompting do usuário (E2).
   • Estudo com Usuários: Um estudo intra-sujeitos ($n=14$) envolvendo tarefas de planejamento de estilo de vida de início a frio (compras de presentes, viagens, jantar, receitas). Os participantes interagiram com as três interfaces de direcionamento e uma linha de base apenas de prompting (PROMPT).

Principais Resultados

• Viabilidade Computacional: O direcionamento de ativação demonstrou uma correlação forte, quase linear, entre a força de direcionamento e a preferência expressa em todos os modelos testados. Crucialmente, o método foi considerado compatível com o prompting do usuário; o prompting poderia intensificar ou reduzir o efeito do direcionamento, permitindo variabilidade contextual dentro de um perfil de preferência direcionado.
• Alinhamento de Preferência (U1):
  • SELECT e CALIBRATE mostraram correlações moderadas e significativas ($r=0.46$ e $r=0.59$, respectivamente) entre a saída do chatbot e as preferências de verdade fundamental (ground-truth) do usuário, superando significativamente a linha de base de apenas prompting ($r=0.11$).
  • LEARN mostrou uma correlação mais fraca ($r=0.26$), sugerindo que o algoritmo de atualização baseado em sentimento era menos robusto para capturar diversas intenções do usuário em um curto período de tempo.
  • No geral, os chatbots direcionáveis alcançaram uma correlação moderada ($r=0.44$) com as preferências latentes, validando a abordagem para cenários de cold-start.
• Percepções Subjetivas (U2):
  • Não houve diferença significativa na "Probabilidade de Uso", "Satisfação" ou "Controle Percebido" entre as interfaces quando comparadas diretamente.
  • No entanto, todas as interfaces direcionáveis foram avaliadas significativamente acima da linha de base em Persistência Percebida, indicando que os usuários sentiram que suas preferências eram melhor lembradas entre as sessões.
  • Heterogeneidade de Valores: A análise qualitativa revelou preferências distintas dos usuários. Alguns usuários valorizaram o controle explícito do SELECT, enquanto outros preferiram a experiência de baixa carga cognitiva e fluida do LEARN. O CALIBRATE foi apreciado por sua precisão e natureza de economia de tempo, mas criticado pelo potencial desalinhamento caso a etapa de calibração falhasse em capturar preferências sutis.

Significância e Alegações
O artigo afirma introduzir um novo paradigma para a personalização de LLMs que desloca o fardo da articulação de preferências do prompting de linguagem natural para a manipulação direta dos componentes internos do modelo. Os autores postulam que o direcionamento de ativação oferece uma alternativa eficiente em termos de recursos ao ajuste fino, pois não requer o retreinamento dos pesos do modelo e opera com vetores leves.

O estudo reestrutura a personalização de LLM como um problema de design de interação, demonstrando que expor um fator de direcionamento linear pode alinhar efetivamente as saídas do modelo com as preferências latentes do usuário em cenários de cold-start. Os autores enfatizam que não existe uma interface "ótima" única; em vez disso, os valores do usuário em relação à agência (controle vs. automação) e fluidez (estática vs. adaptativa) ditam qual design é mais adequado. Eles concluem que os chatbots direcionáveis oferecem um mecanismo promissor e computacionalmente eficiente para criar assistentes de IA diretamente manipuláveis e personalizados, embora reconheçam limitações quanto à fidelidade dos protótipos de baixa fidelidade e à redução de preferências complexas a dimensões únicas.