Resumo Técnico: Eluna – Um Sistema de LLM Agêntico para Automação de Operações de Armazém

Definição do Problema

As operações modernas de armazém dependem de Procedimentos Operacionais Padrão (SOPs) que codificam uma lógica de decisão complexa e multissistêmica. Esses fluxos de trabalho, como o diagnóstico de transporte robótico ou o processamento de tickets de inventário, exigem adesão estrita a restrições procedimentais, limiares quantitativos e raciocínio de múltiplas etapas entre dezenas de sistemas. A execução atual é frequentemente manual, lenta e propensa a erros, levando à degradação do rendimento (throughput).

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem fortes capacidades de raciocínio, as estruturas agênticas existentes (ex: ReAct, Reflexion) têm dificuldade com a conformidade aos SOPs. Elas dependem de prompts de estrutura frouxa que carecem de mecanismos para impor restrições procedimentais determinísticas, fazendo com que modelos capazes desviem dos caminhos de decisão prescritos. Um gargalo primário é a sobrecarga de contexto: quando as especificações completas do SOP são apresentadas ao modelo, o desempenho degrada-se à medida que fluxos de trabalho complexos sobrecarregam a capacidade do modelo de selecionar ações relevantes. Este platô de desempenho persiste independentemente da escala do modelo, e o prompting isolado é insuficiente sem treinamento específico de domínio.

Metodologia: O Framework Eluna

O Eluna é um sistema multiagente guiado por grafos, implantado em produção, projetado para garantir a execução confiável de SOPs. Ele aborda a sobrecarga de contexto e a generalidade de casos de uso através de três componentes arquitetônicos principais:

1. Representação de SOP Guiada por Grafos e Divulgação Progressiva

Os SOPs são codificados como Grafos Acíclicos Dirigidos (DAGs) contendo cinco tipos de nós: observações, causas raiz, cálculos, restrições e ações.

• Divulgação Progressiva: Em vez de apresentar o grafo completo, o sistema divulga o grafo em dois níveis:
  1. Uma ferramenta de recuperação executa uma Busca em Largura (BFS) a partir do nó acionado para retornar apenas o subgrafo alcançável (estrutura e descrições breves).
  2. As especificações procedimentais completas (lógica de avaliação, chamadas de ferramentas, limiares) para um nó específico são buscadas apenas quando o agente começa a avaliar esse nó.
• Esta abordagem limita o contexto de trabalho a um nó por vez, evitando que o agente infle ramos ou explore subárvores irrelevantes.

2. Arquitetura Multiagente Hierárquica

O Eluna emprega uma hierarquia de dois níveis para gerenciar complexidade e paralelismo:

• Agente Principal (Orquestrador): Detém o subgrafo recuperado, seleciona os próximos nós a serem avaliados com base nas dependências de arestas e emite chamadas de delegação. Ele retém o estado do grafo para sequenciamento e verificação de restrições.
• Sub-Agentes Paralelos: Sub-agentes independentes são delegados para avaliar nós específicos em paralelo. Cada sub-agente opera em um contexto isolado contendo apenas a especificação, instruções de papel e ferramentas de seu nó atribuído.
• Ecossistema de Ferramentas: Os sub-agentes utilizam um intérprete de código persistente (paradigma CodeAct) para manipulação de dados e o Protocolo de Contexto de Modelo (MCP) para acesso a dados em tempo real. Apenas conclusões estruturadas são retornadas ao agente principal, evitando a inflação de contexto.

3. Empacotamento de Habilidades (Skill Packaging)

Para evitar conflitos no espaço de ferramentas e a sobrecarga de contexto decorrente do carregamento de todos os casos de uso simultaneamente, cada fluxo de trabalho é empacotado como uma Habilidade (Skill) autossuficiente. Uma habilidade inclui o grafo de decisão, ferramentas específicas, especificações de nós, funções CodeAct e instruções de execução. As habilidades são carregadas sob demanda em tempo de execução, permitindo que o mesmo motor de agente sirva diversos casos de uso operacionais.

4. Estratégia de Treinamento: Destilação Episódica Assimétrica

Reconhecendo que o prompting sozinho é insuficiente, o Eluna utiliza um pipeline de treinamento centrado em trajetórias:

• Melhoria de Trajetória do Professor: Um modelo professor forte gera trajetórias dentro do framework. O Aprendizado Episódico (Episodic Learning) corrige iterativamente os erros do professor usando memória e reflexão sem atualizar os pesos do modelo.
• Destilação Assimétrica: Um modelo aluno menor e de baixa latência é ajustado (fine-tuned) nas trajetórias corrigidas. Crucialmente, a memória episódica é removida durante o treinamento e a inferência do aluno. O aluno deve internalizar as correções em seus pesos em vez de depender da memória em tempo de execução. Isso elimina a dependência de memória e o overhead durante a inferência.
• Processamento de Dados: As trajetórias são decompostas turno a turno, e a amostragem de rejeição com um juiz de LLM filtra a correção antes do ajuste fino.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Um Framework de Habilidades Guiado por Grafos: Codifica SOPs como DAGs com divulgação progressiva e utiliza execução multiagente hierárquica com delegação de sub-agentes paralelos para alcançar um raciocínio escalável e em conformidade procedimental.
2. Pipeline de Destilação Episódica Assimétrica: Um método de treinamento onde o aprendizado episódico melhora as trajetórias do professor, e um modelo aluno é ajustado nessas trajetórias corrigidas e sem memória, internalizando a lógica procedimental sem overhead de memória em tempo de execução.
3. Desempenho no Mundo Real: Demonstra que um modelo de 32B ajustado supera baselines de modelos prontos para uso (OTS) muito maiores e iguala um modelo professor muito maior em benchmarks operacionais e aplicações de produção.

Resultados Experimentais

Benchmark de Raciocínio Operacional

Avaliado em um benchmark de 13 tarefas cobrindo capacidades como análise de cadeia causal, detecção de tendência de métricas e síntese de conhecimento entre sistemas:

• Eluna-G (ajustado via GLM-4.5-Air) e Eluna-Q (ajustado via Qwen3-32B) melhoraram o desempenho médio em +6,5% e +6,0%, respectivamente, sobre o baseline GLM-4.5-Air.
• O Qwen3-32B OTS teve um desempenho 38,0% pior que o baseline, destacando a necessidade de treinamento específico de domínio.
• O Eluna-Q, apesar de ser uma arquitetura diferente e menor que o professor (GLM-4.7), igualou o desempenho do professor, demonstrando transferência eficaz de raciocínio operacional entre famílias de modelos.

Aplicações de Produção

1. Transporte Robótico (Crítico para Latência):

   • O sistema processou aproximadamente 8.000 gatilhos em produção.
   • Modelos ajustados melhoraram a correção binária de observação em >49% e a correção de causa raiz em >73% sobre o baseline.
   • As taxas de correspondência exata melhoraram em +165% para ações.
   • A latência mediana de execução foi reduzida em ~54% em comparação com o modelo professor grande, atendendo aos SLAs de diagnóstico em tempo real.
   • Revisões de especialistas (SMEs) indicaram quase perfeita adesão aos SOPs, com erros atribuídos a lacunas nas especificações dos SOPs, não ao raciocínio do agente.

2. Processamento de Tickets (Raciocínio Complexo):

   • Aplicado a um SOP de consolidação de inventário de 46 nós.
   • Um modelo de 355B ajustado (Eluna-G-XL) alcançou 94,4% de correção estimada contra anotações de especialistas.
   • O sistema automatizou a triagem digital de tickets que anteriormente exigiam cerca de 6 minutos de processamento manual, com um tempo de geração mediana de 187 segundos.

Estudos de Ablação

Experimentos confirmaram que a destilação assimétrica é crítica. Aplicar o aprendizado episódico (EL) apenas ao professor resultou em ganhos significativos (+16,2% a +28,6%). No entanto, treinar o aluno com EL mas removê-lo na inferência causou quedas catastróficas de desempenho (−52,7%), provando que o conhecimento episódico deve ser internalizado nos pesos em vez de ser exposto como uma dependência de runtime frágil.

Significância e Alegações

O artigo afirma que o Eluna demonstra duas lições generalizáveis para o deploy de sistemas agênticos em produção:

1. A Destilação Supera a Escala para Conformidade: Dentro de um framework guiado por grafos, um modelo de 32B ajustado pode igualar um professor significativamente maior e superar todos os modelos prontos para uso (OTS) testados. O desempenho dos modelos OTS estagna independentemente do tamanho, enquanto o treinamento em trajetórias estruturadas produz resultados superiores.
2. Restrições de Latência Impulsionam a Arquitetura: A necessidade de inferência de baixa latência sob SLAs de produção exigiu o design de destilação assimétrica. Depender de memória episódica na inferência provou ser uma dependência frágil em vez de um ganho puro de precisão.

Os autores observam que os erros residuais no sistema derivam de lacunas nas especificações dos SOPs e na qualidade dos dados de origem, identificando a autoria de SOP e o pipeline de integridade de dados como o próximo gargalo para a automação operacional confiável. O sistema está atualmente implantado em dois domínios operacionais, sendo que a transferência para ambientes substancialmente diferentes ainda precisa ser validada empiricamente.