LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents
LatentSkill é um framework que converte habilidades textuais em adaptadores LoRA plug-and-play por meio de uma hiperrede pré-treinada, permitindo que agentes de LLM armazenem procedimentos de tarefas reutilizáveis no espaço de pesos em vez do espaço de contexto, o que reduz significativamente o overhead de tokens enquanto melhora o desempenho e possibilita a composição modular de habilidades.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os modelos de linguagem de grande escala tornaram-se notavelmente capazes de raciocinar através de problemas complexos, atuando frequentemente como agentes digitais que podem planejar, pesquisar e interagir com softwares para completar tarefas. Para lidar com trabalhos especializados, esses agentes frequentemente dependem de "habilidades" — essencialmente instruções ou procedimentos escritos que dizem ao modelo como resolver um tipo específico de problema, como organizar um quarto virtual ou responder a uma questão de múltiplas etapas. Tradicionalmente, essas habilidades são inseridas diretamente no input do modelo toda vez que ele precisa usá-las, de forma muito semelhante a ler uma página de um manual página por página antes de realizar uma ação. Embora isso funcione, cria um gargalo significativo: quanto mais complexa a tarefa e maior a biblioteca de habilidades, mais texto o modelo deve processar, o que o torna mais lento e consome quantidades vastas de poder computacional. Além disso, manter essas instruções como texto puro no input as deixa expostas e vulneráveis a serem mal interpretadas ou sequestradas por outras partes do sistema.
Pesquisadores da Universidade Jiao Tong de Xangai e do Instituto de Pesquisa da OPPO propuseram uma abordagem diferente chamada LatentSkill, que move essas instruções para fora do input de texto e para dentro da estrutura de memória interna do modelo. Em vez de ler uma descrição de habilidade toda vez, o sistema utiliza um gerador especializado para converter o texto de uma habilidade em um conjunto compacto de ajustes internos, conhecidos como adaptadores, que são permanentemente anexados ao "cérebro" do modelo. Isso permite que o agente "saiba" a habilidade sem ter que ler as instruções novamente. A equipe descobriu que este método não apenas acelera o processo e reduz a quantidade de dados que o modelo precisa manipular, mas também cria um espaço oculto e organizado onde diferentes habilidades podem ser misturadas e combinadas com precisão matemática.
A ideia central por trás deste trabalho é tratar uma habilidade não como um documento a ser lido, mas como um conjunto de pesos a serem carregados. Em seu framework, um "compilador de habilidades" pega uma descrição escrita de uma tarefa e gera instantaneamente um conjunto único de modificações internas para o modelo de linguagem. Essas modificações são pequenas, eficientes e modulares, o que significa que podem ser anexadas ou desanexadas do modelo principal sem a necessidade de retreinar todo o sistema. Uma vez que uma habilidade é convertida neste formato interno, o texto original é descartado do fluxo de input. O modelo então opera usando esses ajustes ocultos, que guiam seu comportamento de forma tão eficaz quanto o texto faria, mas sem o custo pesado de processar milhares de palavras extras para cada etapa de uma tarefa.
Para testar isso, os pesquisadores aplicaram seu sistema a dois desafios distintos: uma simulação baseada em texto de um robô navegando por uma casa para completar tarefas domésticas, e uma série de tarefas complexas de perguntas e respostas que exigem a busca através de múltiplas fontes de informação. Na tarefa de navegação doméstica, o sistema teve que descobrir como pegar objetos, limpá-los e colocá-los em locais específicos. Na tarefa de perguntas e respostas, ele teve que encontrar respostas que exigiam conectar diversas peças de informação. Quando comparada ao método padrão de colar instruções de habilidade no prompt, a nova abordagem provou ser significamente mais eficiente. Nas tarefas de navegação doméstica, o sistema melhorou sua taxa de sucesso em mais de vinte pontos percentuais em tarefas familiares e em mais de treze pontos em tarefas novas e não vistas, tudo isso utilizando quase dois terços a menos de tokens de input. Nos benchmarks de perguntas e respostas, alcançou uma taxa de precisão mais alta, reduzindo o número de tokens processados por etapa em mais de setenta por cento.
Além de apenas economizar tempo e recursos, os pesquisadores descobriram que esses ajustes internos de habilidade possuem uma quantidade surpreendente de estrutura. Quando mapearam o espaço matemático onde essas habilidades residem, descobriram que habilidades pertencentes à mesma categoria, como tarefas de limpeza ou tarefas de busca, agrupam-se naturalmente, formando clusters distintos. Isso sugere que o sistema não está apenas memorizando texto, mas está aprendendo a lógica subjacente dos procedimentos. Essa estrutura permite um alto grau de controle; os pesquisadores descobriram que podiam ajustar a força de uma habilidade simplesmente girando um botão, representado por um número de escala. Se o número fosse muito baixo, a habilidade não tinha efeito; se fosse muito alto, o modelo ficava confuso. No entanto, no ajuste correto, o modelo performava de forma otimizada, e esse ponto ideal permanecia consistente através de diferentes tipos de tarefas.
Talvez a descoberta mais intrigante tenha sido que essas habilidades internas podiam ser combinadas. Assim como alguém pode misturar ingredientes para criar um novo prato, os pesquisadores mostraram que podiam pegar os ajustes internos de duas habilidades diferentes e somá-los para criar uma nova habilidade composta. No entanto, isso só funcionava de forma confiável quando as habilidades eram decompostas em seus componentes menores e mais alinhados antes de serem misturadas. Se eles simplesmente somassem os blocos inteiros das habilidades, o resultado era frequentemente menos eficaz. Ao alinhar cuidadosamente as partes, eles foram capazes de criar uma habilidade que executava uma sequência complexa de ações sem perder a capacidade de realizar os passos individuais. Isso sugere que o sistema pode construir comportamentos complexos ao montar peças modulares de conhecimento de uma forma que é tanto flexível quanto precisa.
O estudo também destacou uma vantagem significativa de segurança. Como as habilidades são armazenadas como ajustes internos e não como texto visível, elas são muito mais difíceis de serem adulteradas. Quando os pesquisadores testaram o sistema contra tentativas de sequestrar as instruções ou extrair o conhecimento oculto, o novo método resistiu muito bem. Enquanto a abordagem tradicional baseada em texto frequentemente colapsava ou revelava seus segredos quando atacada, a versão de habilidade interna manteve seu desempenho e manteve suas instruções ocultas. Isso indica que mover as habilidades do prompt visível para os pesos internos do modelo oferece uma maneira mais robusta e segura de equipar agentes artificiais com conhecimento especializado.
Os pesquisadores concluem que esta abordagem oferece um caminho prático para construir agentes de IA mais capazes e eficientes. Ao deslocar o armazenamento do conhecimento procedimental do fluxo de input para os parâmetros internos do modelo, eles demonstraram uma maneira de tornar os agentes mais rápidos, mais seguros e melhores em combinar diferentes habilidades. Os resultados sugerem que o futuro dos agentes de IA pode não residir em alimentá-los com mais texto, mas em ensiná-los a carregar suas habilidades internamente, prontas para serem implantadas com um interruptor simples e invisível.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.