Conversational Control with Ontologies for Large Language Models: A Lightweight Framework for Constrained Generation

Resumo Técnico: Controle Conversacional com Ontologias para Grandes Modelos de Linguagem

1. Problema Identificado

Os Agentes Conversacionais baseados em Grandes Modelos de Linguagem (LLMs) tornaram-se ferramentas poderosas, mas sua natureza de "caixa preta" impõe desafios significativos:

• Imprevisibilidade: A geração de conteúdo é difícil de controlar e prever, especialmente em diálogos orientados a objetivos.
• Falta de Personalização: Os modelos têm dificuldade em adaptar consistentemente a saída a restrições complexas ou multidimensionais (como nível de proficiência linguística ou tom emocional).
• Custo e Dependência de Modelo: Abordagens existentes para geração restrita (constrained generation) são frequentemente custosas computacionalmente e dependentes de arquiteturas específicas de modelos.

O objetivo deste trabalho é superar essas limitações propondo um método end-to-end, agnóstico ao modelo e leve para obter controle modular e explicável sobre as saídas de LLMs, utilizando definições ontológicas.

2. Metodologia Proposta

O framework proposto integra conhecimento estruturado (ontologias) com o ajuste fino (fine-tuning) de modelos de linguagem. O processo divide-se em três etapas principais:

A. Definição de Descritores e Estratégia via Ontologia

• Ontologia: Os aspectos da conversa a serem controlados são modelados como descritores dentro de uma ontologia (criada no Protégé). Isso permite uma representação lógica e estruturada de conceitos e suas relações.
• Estratégia de Conversa: Uma estratégia governa a evolução dos valores dos descritores durante o diálogo. A ontologia permite inferir a classe do próximo enunciado com base no contexto atual, garantindo consistência lógica.
• Exemplos de Descritores:
  • Nível de Proficiência: Baseado no Quadro Comum Europeu de Referência para Línguas (CEFR: A1 a C2).
  • Perfil de Polaridade: Combina "carga emocional" (carregado vs. não carregado) e "polaridade" (positivo, negativo, neutro).

B. Ajuste Fino com Geração Restrita (Fine-Tuning)

• Formatação de Dados: O método utiliza Causal Language Modeling (CLM). Os dados de treinamento são "envoltos" em rótulos que indicam a classe ontológica desejada para o enunciado, no formato: [o.C : Ci] enunciado [o.C : Ci].
  • O rótulo pré-enunciado guia a geração.
  • O rótulo pós-enunciado garante alinhamento e controle.
• Técnica de Treinamento: Utiliza-se LoRA (Low-Rank Adaptation) para ajustar modelos de linguagem (como Llama3, Qwen, Mistral, Phi) em camadas de decodificador. Isso reduz drasticamente o número de parâmetros treináveis, tornando o processo leve e eficiente.
• Objetivo: O modelo é treinado para gerar conteúdo que cumpra estritamente a instrução de classe fornecida pelo rótulo.

C. Avaliação (Zero-Shot Generation)

• A avaliação é realizada em modo zero-shot: o sistema recebe uma pergunta do usuário e o rótulo de controle (parte esquerda do rótulo) no prompt do sistema.
• O modelo gera a resposta, que é então processada para remover o rótulo de saída.
• Métricas: A saída gerada é submetida à inferência da ontologia para verificar se pertence à classe desejada.
  • Proficiência: Usa-se F1, Acurácia e MAE (Mean Absolute Error) devido à natureza ordinal dos níveis CEFR.
  • Polaridade: Usa-se F1, Acurácia e MCC (Matthews Correlation Coefficient) para avaliar a relevância da previsão de classes.

3. Casos de Uso (Use-Cases)

Os autores validaram a abordagem em dois cenários distintos:

1. Controle de Nível de Proficiência (Proficiency-Level Control):

   • Objetivo: Adaptar o nível de inglês do agente ao nível compreensível pelo usuário (baseado na hipótese de que o usuário entende o que consegue expressar).
   • Estratégia: "Apenas mais difícil" (harder-only). O nível da conversa não pode diminuir ao longo do tempo; ele aumenta conforme o usuário demonstra compreensão.
   • Dados: Utilização de datasets como CEFR-T, CEFR-S e DailyDialog balanceado.

2. Controle de Perfil de Polaridade (Polarity Profile Control):

   • Objetivo: Gerenciar o tom emocional e a polaridade (positivo/negativo/neutro) para fomentar debate crítico e evitar "bashing" negativo.
   • Estratégia: O agente alinha a carga emocional do usuário, mas inverte a polaridade em casos positivos ou negativos não carregados para incentivar o debate, e gera conteúdo negativo não carregado para apoiar pontos de vista carregados negativamente.
   • Dados: DailyDialog, GoEmotions, EmpatheticDialogues e SST-3.

4. Resultados Principais

• Desempenho Quantitativo: O método de ajuste fino guiado por ontologia superou consistentemente as linhas de base pré-treinadas em todos os modelos testados (incluindo modelos menores como Phi-3.5-mini e Llama3.2-3B).
  • Houve uma melhoria significativa nas métricas F1 e Acurácia para todas as classes, enquanto as linhas de base pré-treinadas frequentemente falhavam em gerar certas classes (ex: níveis CEFR específicos).
  • O modelo DeepSeek-R1 ajustado obteve os melhores resultados no controle de polaridade (F1 de 0.44 e MCC de 0.40).
• Desempenho Qualitativo:
  • As saídas demonstraram uma adaptação clara ao nível de complexidade linguística (ex: frases mais curtas e vocabulário simples para níveis A1/A2).
  • Na polaridade, o modelo conseguiu alternar entre opiniões, embora a geração de conteúdo "não carregado" (neutro) ainda apresente desafios (tendência a sycophancy, ou seja, concordar com o usuário).
• Eficiência: O uso de LoRA permitiu que o controle fosse implementado sem alterar a arquitetura subjacente do modelo, mantendo o framework leve e reutilizável.

5. Contribuições Chave

1. Metodologia Inovadora: Propõe um novo método para ajustar LLMs usando definições ontológicas que habilitam a geração controlada, guiando agentes conversacionais através de estratégias definidas ontologicamente.
2. Framework Leve e Agnóstico: A abordagem não depende de um modelo específico e pode ser estendida a novos domínios e objetivos de interação com pouco esforço de engenharia de ontologia.
3. Validação Empírica: Demonstra, tanto quantitativa quanto qualitativamente, que o controle guiado por ontologia melhora a aderência a instruções de estratégia em comparação com modelos pré-treinados padrão.
4. Reprodutibilidade: O código, dados e ontologias foram disponibilizados publicamente.

6. Significado e Impacto

Este trabalho representa um avanço significativo na área de agentes conversacionais controlados. Ao integrar ontologias (conhecimento estruturado e lógico) com a flexibilidade dos LLMs, o framework oferece uma solução para o problema da "caixa preta", tornando o comportamento do agente mais transparente, previsível e alinhado com as necessidades do usuário.

A abordagem é particularmente relevante para aplicações críticas onde a consistência e a segurança são vitais, como:

• Suporte ao Cliente: Garantir que o tom e a complexidade da resposta sejam adequados.
• Saúde e RH: Manter a neutralidade ou o suporte emocional necessário.
• Educação: Adaptar o nível de linguagem ao aluno em tempo real.

O estudo sugere que o futuro do controle de LLMs deve migrar de prompts simples para frameworks híbridos que utilizam raciocínio lógico (via ontologias) para guiar a geração de texto, permitindo estratégias de conversa mais sofisticadas e seguras.

7. Limitações e Trabalhos Futuros

• Limitações: Os resultados quantitativos ainda têm margem de melhoria, e a avaliação atual foca mais na coerência textual do que na interação real com usuários humanos. A subjetividade dos conceitos modelados (como carga emocional) permanece um desafio.
• Futuro: Os autores planejam explorar estratégias de prompting flexíveis, testar métodos de Aprendizado por Reforço (como PPO ou DPO) para otimizar a recompensa baseada na ontologia e realizar avaliações humanas em larga escala para validar a utilidade prática dos agentes.