FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

Resumen Técnico: FOCUS (Fine-tuning con Control Ortogonal para Personas Desacopladas)

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLMs) poseen la capacidad de exhibir diversas personalidades (personas), y se ha demostrado que la activación de "personas expertas" específicas mejora el rendimiento en tareas de dominios específicos como el razonamiento matemático y la atención médica. Sin embargo, los métodos existentes para el control de la personalidad suelen sufrir de un acoplamiento entre dominios. Debido a que los LLMs son entrenados con datos mixtos, las representaciones internas de diferentes personas expertas (por ejemplo, médica, legal, financiera) no son independientes. Este acoplamiento genera conflictos de comportamiento: una persona optimizada para un dominio puede exhibir rasgos indeseables en otro. Por ejemplo, una personalidad de trading financiero "agresiva", si se activara inadvertidamente en un contexto médico, podría conducir a respuestas excesivamente confiadas y de alto riesgo que comprometan la seguridad del paciente. Por el contrario, una cautela excesiva de una personalidad médica podría obstaculizar el razonamiento sensible al riesgo en el trading financiero. Los enfoques actuales, incluyendo la activación basada en prompts y el direccionamiento vectorial simple, no logran desacoplar estos factores de comportamiento conflictivos, lo que resulta en un rendimiento inestable y una alineación de dominio impura.

Metodología
Para abordar estas limitaciones, los autores proponen FOCUS, un marco diseñado para desacoplar y controlar las personalidades de expertos de dominios específicos mediante un proceso de tres pasos:

1. Extracción de Vectores de Personalidad de Experto:
   Los autores construyen primero un flujo de trabajo automatizado para extraer vectores de personalidad del flujo residual del LLM. Utilizando prompts de sistema contrastivos (prompts positivos para provocar el comportamiento experto frente a prompts negativos para suprimirlo) y pares de preguntas-respuestas específicos del dominio, computan la diferencia entre los vectores de activación promedio de los conjuntos de respuestas positivas y negativas. Esto genera vectores candidatos para expertos generales ($v_g$) y dominios específicos: finanzas ($v_f$), derecho ($v_l$) y medicina ($v_m$).

2. Descomposición Ortogonal (Desacoplamiento):
   Para eliminar la interferencia entre dominios, el método aplica la ortogonalización de Gram-Schmidt. El vector del experto general $v_g$ se normaliza para servir como base ortogonal. Cada vector de dominio específico es entonces proyectado sobre esta base, y el componente de la proyección es restado. Este proceso elimina el "experto general" y los componentes compartidos entre dominios de los vectores específicos, resultando en un conjunto de vectores de personalidad desacoplados y ortogonales ($q_g, q_f, q_l, q_m$) que representan una pura pericia de dominio.

3. Entrenamiento de Dos Etapas con Puerta de Experto (Expert Gating):
   Se inserta un módulo ligero de puerta de experto después de la subcapa de la Red Feed-Forward (FFN) del Transformer. Este módulo, que consiste en un MLP de dos capas y una función Softmax, computa dinámicamente pesos ($\alpha$) para combinar los vectores de personalidad desacoplados basados en el contexto de entrada. El entrenamiento sigue una estrategia de dos etapas:

   • Etapa 1 (Alineación de Dominio Único): El modelo se ajusta finamente (fine-tuning) en conjuntos de datos de un solo dominio con un regularizador de selección de puerta. Este término de pérdida fomenta que los pesos de la puerta sean dispersos (acercándose a 1 para el dominio correcto y 0 para los demás), asegurando que el modelo aprenda a activar el vector experto específico para tareas de un solo dominio.
   • Etapa 2 (Generalización de Dominio Cruzado): El modelo se ajusta finamente en un conjunto de datos mixto que contiene tanto muestras de un solo dominio como de dominios cruzados. El regularizador se elimina, permitiendo que el modelo aprenda combinaciones de pesos adaptativas para tareas complejas que requieren múltiples perspectivas de expertos sin restricciones de selección explícitas.

Contribuciones Clave

• Identificación de la Inestabilidad de Acoplamiento: El artículo identifica que las personalidades de expertos acopladas conducen a un rendimiento inestable y conflictos de comportamiento en tareas de dominio debido a requisitos conflictivos (por ejemplo, cautela frente a toma de riesgos).
• Marco FOCUS: La propuesta de un nuevo marco que combina la descomposición ortogonal para desacoplar los vectores de personalidad con un mecanismo de puerta de selección para activarlos de forma adaptativa.
• Mejora del Rendimiento: Demostración de que FOCUS mejora la precisión de las respuestas en los dominios financiero, legal y médico, así como en escenarios de dominio cruzado, superando a los métodos existentes de control de personalidad y al ajuste fino supervisado (SFT) estándar.

Resultados Experimentales
Los experimentos se realizaron en benchmarks que incluyen predicción de acciones (Finanzas), LegalBench (Derecho), Medicina Profesional (MedQA/MMLU) y conjuntos de datos de dominio cruzado (MedEthicsQA, CUAD).

• Precisión: FOCUS superó consistentemente a los modelos de referencia (baselines), incluyendo el direccionamiento basado en prompts, el direccionamiento en tiempo de inferencia y el SFT estándar. Notablemente, superó a varios modelos específicos de dominio (por ejemplo, Finance-Chat, Law-Chat) que dependen de un entrenamiento de gran escala con datos específicos del dominio.
• Capacidad de Dominio Cruzado: En tareas de dominio cruzado, FOCUS logró los mejores resultados entre todos los métodos comparados, demostrando su capacidad para componer eficazmente múltiples vectores de personalidad (por ejemplo, combinando el razonamiento médico y legal).
• Estudios de Ablación:
  • Desacoplamiento: Eliminar el paso de descomposición ortogonal provocó una degradación consistente del rendimiento, confirmando que los vectores extraídos brutos contienen componentes que interfieren.
  • Entrenamiento de Dos Etapas: Eliminar ya sea la Etapa 1 (dispersión) o la Etapa 2 (adaptación) redujo el rendimiento, indicando que tanto la activación enfocada en un solo dominio como la composición flexible de dominio cruzado son necesarias.
  • Fuerza de la Puerta ($\gamma$): Se encontró un factor de escala óptimo ($\gamma=2$); los valores demasiado bajos no lograron inyectar las características de la personalidad, mientras que los valores demasiado altos causaron un "sobre-reforzamiento de la personalidad", provocando una pérdida de generalización.

Significancia
El artículo afirma que FOCUS ofrece un nuevo enfoque para la adaptación eficiente de dominios en los LLMs. Al desacoplar y controlar explícitamente las representaciones internas de los expertos, aborda la inestabilidad causada por el acoplamiento entre dominios sin requerir cantidades masivas de datos específicos del dominio para el reentrenamiento. Los resultados sugieren que el control estructurado sobre los vectores de personalidad permite a los modelos mantener una alta pureza en el razonamiento de dominio específico, manteniendo al mismo tiempo la flexibilidad para manejar tareas complejas y multifacéticas, proporcionando una dirección prometedora para mejorar la fiabilidad de los LLMs en dominios de alto riesgo.