Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

Resumo Técnico: Deixando Personas de Tutores Falarem por LLMs

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham se tornado proeminentes na tutoria educacional, as abordagens existentes tipicamente aprendem uma política de tutoria única e monolítica. Esses métodos frequentemente falham em capturar a diversidade inerente aos estilos de tutoria humana. Em interações do mundo real, a intenção pedagógica é realizada através de estratégias adaptativas onde os tutores variam seu nível de andaime (scaffolding), diretividade, feedback e suporte afetivo com base nas necessidades do aluno. Técnicas atuais, como o uso de prompting com políticas específicas ou treinamento via Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL), otimizam a qualidade pedagógica geral, mas não modelam ou controlam explicitamente as variações estilísticas específicas exibidas por tutores humanos individuais. A questão central de pesquisa abordada é como capturar essas diferenças nos estilos de tutoria e direcionar os LLMs para exibir comportamentos específicos alinhados ao tutor sem depender de instruções de prompt manuais e explícitas.

Metodologia
Os autores propõem uma abordagem de direcionamento de ativação (activation steering) que aprende um "vetor de direcionamento" a partir de diálogos entre tutores e alunos humanos para guiar o comportamento do LLM em direção a personas de tutores específicas. A metodologia procede em três estágios principais:

1. Construção de Dados e Modelagem de Linha de Base:
   Os autores utilizam o conjunto de dados Question-Anchored-Tutoring-Dialogues-2k, composto por diálogos entre 21 tutores e alunos humanos únicos. Primeiro, um LLM (Llama-3.1-8B-Instruct) é Ajustado com Fino Supervisionado (SFT) no conjunto de dados para servir como um proxy para o comportamento do "tutor da média da população". Este modelo é condicionado ao contexto do diálogo para gerar uma resposta de tutor genérica e média para qualquer dado turno.

2. Construção de Pares Contrastivos:
   Para cada turno de diálogo, um par contrastivo é construído:

• Resposta Preferida: A fala real do tutor específico ($t_{i,j,k}$).
• Resposta Despreferida: A resposta gerada pelo modelo SFT ($\bar{t}_{j,k}$), representando a média da população.
  Esta configuração define explicitamente a direção do comportamento médio do tutor em direção ao comportamento específico do tutor $i$.

3. Aprendizado do Vetor de Direcionamento e Coeficientes:
   Os autores empregam um objetivo de otimização de preferência inspirado no BiPO (baseado no Direct Preference Optimization). Eles aprendem:

• Um vetor de direcionamento compartilhado ($v$) no espaço de ativação do modelo (especificamente na última camada do transformer).
• Coeficientes de escala específicos do tutor ($\delta_i$) que escalam o vetor compartilhado para cada tutor.

A otimização minimiza uma perda logística que encoraja o modelo direcionado a atribuir maior verossimilhança à fala real do tutor e menor verossimilhança à fala média da população. Os coeficientes $\delta_i$ são parametrizados via escalares aprendíveis $u_i$ e normalizados para ter uma média unitária entre os tutores para resolver a ambiguidade de escala. A função objetivo é:
$$\min_{v,u} \mathbb{E}_{i,j,k} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(t_{i,j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(t_{i,j,k} | \mathcal{A}_L)} - \beta \log \frac{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L)} \right) \right]$$
onde $\mathcal{A}_L$ representa as ativações latentes na camada $L$, e $\beta$ é um hiperparâmetro que controla a similaridade com o modelo base.

Na inferência, um fator de escala global $\alpha$ é introduzido ($\mathcal{A}_L \leftarrow \mathcal{A}_L + \alpha \delta_i v$) para permitir o ajuste suave da força da intervenção.

Principais Contribuições

• Extração Implícita de Persona: O artigo demonstra que personas de tutores incorporadas em diálogos humanos podem ser extraídas e usadas para guiar o comportamento de LLMs sem prompting textual explícito.
• Direcionamento de Ativação para Tutoria: Os autores introduzem um método para aprender uma direção de direcionamento compartilhada e coeficientes específicos de tutor que deslocam o comportamento do modelo da média da população em direção aos estilos de tutores individuais.
• Variação Controlável e Interpretável: Os coeficientes de escala aprendidos ($\delta_i$) revelam uma estrutura interpretável correspondente a diferenças consistentes no comportamento de tutoria (por exemplo, de um andaime de alto afeto para uma instrução minimalista e focada na tarefa).
• Ganhos de Desempenho: A abordagem melhora o alinhamento semântico com as falas reais dos tutores e aumenta as taxas de vitória baseadas em preferência, mantendo amplamente a similaridade lexical.

Resultados Experimentais
Os autores avaliaram o método em um conjunto de teste não visto utilizando métricas lexicais (ROUGE-L, BLEU) e semânticas (Similaridade de Cosseno, Taxa de Vitória de LLM-como-Juiz).

• Alinhamento Semântico: O direcionamento melhorou significamente o alinhamento semântico com os tutores reais. No estágio "médio" dos diálogos (onde ocorre a resolução de problemas principais), a similaridade de cosseno aumentou de 0,385 (não direcionado) para 0,426 (direcionado). O juiz LLM preferiu as falas direcionadas sobre a linha de base não direcionada em 58,7% das comparações.
• Similaridade Lexical: A sobreposição lexical (ROUGE-L e BLEU) permaneceu amplamente preservada, com apenas reduções leves, indicando que o direcionamento altera o fraseado e a estrutura do discurso em vez de forçar a correspondência exata de palavras.
• Fator de Escala ($\alpha$): Variar $\alpha$ revelou um compromisso (trade-off). Valores moderados (ex: $\alpha=0,5$) ofereceram o melhor equilíbrio, melhorando o alinhamento estilístico enquanto mantinham a similaridade lexical. Valores mais altos ($\alpha=1,0$) aumentaram a Taxa de Vitória (0,582) mas reduziram as pontuações lexicais, sugerindo que um direcionamento excessivamente forte pode degradar a fluência superficial.
• Análise Qualitativa: A análise dos coeficientes aprendidos ($\delta_i$) mapeou os tutores em um espectro de estilos. Tutores com $\delta_i$ mais baixos exibiram "andaime rico em rapport" (usando emojis, elogios, orientação passo a passo), enquanto aqueles com $\delta_i$ mais altos demonstraram estilos "orientados à eficiência" ou "minimalistas" (correções concisas, comandos focados na tarefa, menos linguagem afetiva). O LLM direcionado replicou com sucesso esses estilos distintos, como mudar de explicações genéricas para movimentos corretivos específicos e concisos ou andaime empático, dependendo do tutor alvo.

Significância e Alegações
O artigo afirma que o direcionamento de ativação oferece um mecanismo eficaz e interpretável para controlar a variação específica do tutor em LLMs usando sinais derivados diretamente de dados de diálogo humano. Os autores sustentam que seu método permite a recuperação consistente do direcionamento específico do tutor através de contextos de diálogo, deslocando o modelo de um comportamento médio da população para os comportamentos específicos exibidos por tutores individuais.

A significância reside na capacidade de capturar a "diversidade de estilos de tutoria" que é frequentemente perdida em modelos de política única. Os autores observam que a direção de direcionamento aprendida codifica um contínuo de comportamentos pedagógicos, desde o andaime de alto investimento e construção de rapport até a instrução de baixo investimento e orientada para a conclusão de tarefas. Eles concluem que esta abordagem fornece uma maneira de controlar a intenção pedagógica além do estilo superficial, permitindo simulações de tutoria personalizadas que refletem as nuances encontradas em interações humanas reais.

Limitações e Direções Futuras
Os autores reconhecem várias limitações:

• Generalização: A avaliação é restrita a um único conjunto de dados de diálogo matemático; a generalização para outros domínios não foi verificada.
• Linhas de Base: As comparações são limitadas ao SFT; trabalhos futuros devem incluir linhas de base baseadas em prompting.
• Avaliação: O estudo depende de métricas automáticas e julgamentos baseados em modelos, em vez de avaliação humana.

As direções de trabalho futuro propostas incluem a integração de rubricas pedagógicas explícitas ou recompensas de resultados de alunos para alinhar melhor os modelos com práticas eficazes, o aprendizado de vetores de direcionamento complementares para personas de alunos para simular interações, e a extensão do método para aprender múltiplos vetores de direcionamento desentranhados para um controle mais fino sobre atributos pedagógicos distintos.