FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

Resumo Técnico: FOCUS (Fine-tuning com Controle Ortogonal para Personas Desacopladas)

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) possuem a capacidade de exibir diversas personas, e a ativação de "personas especialistas" específicas tem demonstrado aumentar o desempenho em tarefas de domínios específicos, como raciocínio matemático e cuidados de saúde. No entanto, os métodos existentes para controle de persona frequentemente sofrem de acoplamento cross-domain (entre domínios). Como os LLMs são treinados em dados mistos, as representações internas de diferentes personas especialistas (por exemplo, médica, jurídica, financeira) não são independentes. Esse acoplamento leva a conflitos comportamentais: uma persona otimizada para um domínio pode exibir traços indesejáveis em outro. Por exemplo, uma persona de negociação financeira "agressiva", se inadvertidamente ativada em um contexto médico, poderia levar a respostas excessivamente confiantes e de alto risco que comprometem a segurança do paciente. Inversamente, a cautela excessiva de uma persona médica pode dificultar o raciocínio sensível ao risco em negociações financeiras. As abordagens atuais, incluindo a ativação baseada em prompts e o simples direcionamento vetorial (vector steering), falham em desacoplar esses fatores comportamentais conflitantes, resultando em desempenho instável e um alinhamento de domínio impuro.

Metodologia
Para enfrentar essas limitações, os autores propõem o FOCUS, um framework projetado para desacoplar e controlar personas especialistas de domínios específicos através de um processo de três etapas:

1. Extração de Vetores de Persona Especialista:
   Os autores primeiro constroem um pipeline automatizado para extrair vetores de persona do fluxo residual (residual stream) do LLM. Usando prompts de sistema contrastivos (prompts positivos para elicitar comportamento especialista vs. prompts negativos para suprimi-lo) e pares de perguntas-respostas específicos de domínio, eles computam a diferença entre os vetores de ativação média dos conjuntos de resposta positiva e negativa. Isso gera vetores candidatos para especialistas gerais ($v_g$) e domínios específicos: finanças ($v_f$), direito ($v_l$) e medicina ($v_m$).

2. Decomposição Ortogonal (Desacoplamento):
   Para eliminar a interferência entre domínios, o método aplica a ortogonalização de Gram-Schmidt. O vetor do especialista geral $v_g$ é normalizado para servir como uma base ortogonal. Cada vetor específico de domínio é então projetado sobre esta base, e o componente de projeção é subtraído. Este processo remove o "especialista geral" e os componentes compartilhados entre domínios dos vetores específicos, resultando em um conjunto de vetores de persona desacoplados e ortogonais ($q_g, q_f, q_l, q_m$) que representam a pura expertise de domínio.

3. Treinamento em Duas Etapas com Gating de Especialista:
   Um módulo de gating de especialista leve é inserido após a subcamada da Rede Feed-Forward (FFN) do Transformer. Este módulo, consistindo em um MLP de duas camadas e uma função Softmax, computa dinamicamente pesos ($\alpha$) para combinar os vetos de persona desacoplados com base no contexto de entrada. O treinamento segue uma estratégia de duas etapas:

   • Etapa 1 (Alinhamento de Domínio Único): O modelo é ajustado (fine-tuned) em conjuntos de dados de domínio único com um regularizador de seleção de gating. Este termo de perda incentiva os pesos de gating a se tornarem esparsos (aproximando-se de 1 para o domínio correto e 0 para os outros), garantindo que o modelo aprenda a ativar o vetor especialista específico para tarefas de domínio único.
   • Etapa 2 (Generalização Cross-Domain): O modelo é ajustado em um conjunto de dados misto contendo amostras de domínio único e cross-domain. O regularizador é removido, permitindo que o modelo aprenda combinações adaptativas de pesos para tarefas complexas que exigem múltiplas perspectivas de especialistas sem restrições explícitas de seleção.

Principais Contribuições

• Identificação da Instabilidade de Acoplamento: O artigo identifica que personas especialistas acopladas levam a um desempenho instável e conflitos comportamentais em tarefas de domínio devido a requisitos conflitantes (ex: cautela vs. tomada de risco).
• Framework FOCUS: A proposta de um novo framework que combina decomposição ortogonal para desacoplar vetores de persona com um mecanismo de seleção por gating para ativá-los de forma adaptativa.
• Melhoria de Desempenho: Demonstração de que o FOCUS melhora a precisão das respostas nos domínios financeiro, jurídico e médico, bem como em cenários cross-domain, superando métodos existentes de controle de persona e o ajuste fino supervisionado (SFT) padrão.

Resultados Experimentais
Experimentos foram conduzidos em benchmarks incluindo previsão de ações (Finanças), LegalBench (Direito), Medicina Profissional (MedQA/MMLU) e conjuntos de dados cross-domain (MedEthicsQA, CUAD).

• Precisão: O FOCUS superou consistentemente os baselines, incluindo steering baseado em prompt, steering em tempo de inferência e SFT padrão. Notavelmente, superou diversos modelos específicos de domínio (ex: Finance-Chat, Law-Chat) que dependem de grandes volumes de dados de treinamento específicos de domínio.
• Capacidade Cross-Domain: Em tarefas cross-domain, o FOCUS alcançou os melhores resultados entre todos os métodos comparados, demonstrando sua habilidade de compor múltiplos vetores de persona (ex: combinando raciocínio médico e jurídico) de forma eficaz.
• Estudos de Ablação:
  • Desacoplamento: A remoção da etapa de decomposição ortogonal levou a uma degradação consistente no desempenho, confirmando que os vetores extraídos brutos contêm componentes de interferência.
  • Treinamento em Duas Etapas: A remoção de qualquer uma das etapas, seja a 1 (esparsidade) ou a 2 (adaptação), reduziu o desempenho, indicando que tanto a ativação focada em domínio único quanto a composição flexível cross-domain são necessárias.
  • Força do Gating ($\gamma$): Um fator de escala ótimo ($\gamma=2$) foi encontrado; valores muito baixos falharam em injetar características de persona, enquanto valores muito altos causaram "sobre-reforço de persona", levando à perda de generalização.

Significância
O artigo afirma que o FOCUS oferece uma nova abordagem para a adaptação eficiente de domínios para LLMs. Ao desacoplar e controlar explicitamente as representações internas de especialistas, ele aborda a instabilidade causada pelo acoplamento cross-domain sem exigir quantidades massivas de dados específicos de domínio para o retreinamento. Os resultados sugerem que o controle estruturado sobre os vetores de persona permite que os modelos mantenam alta pureza no raciocínio específico de domínio, mantendo a flexibilidade para lidar com tarefas complexas e multifacetadas, fornecendo uma direção promissora para melhorar a confiabilidade dos LLMs em domínios de alto risco.