Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits
Este artigo propõe um novo framework de Avaliação e Aprendizado Off-Policy Cross-Domain que aproveita conjuntos de dados históricos de ambos os domínios alvo e origem para superar desafios críticos como poucos dados (few-shot), políticas de registro determinísticas e novas ações, permitindo, assim, a avaliação e otimização eficaz de políticas em cenários onde os métodos existentes falham devido à alta variância ou exploração limitada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é o capitão de um navio tentando navegar em um mar tempestuoso, mas nunca navegou por esta rota específica antes. Você tem um mapa das viagens passadas do seu navio (os "dados registrados"), mas esse mapa está incompleto. Talvez o antigo capitão tenha sido cauteloso demais e navegado apenas em águas calmas, deixando os recifes perigosos não mapeados. Ou talvez o mapa esteja faltando inteiramente porque o navio era pequeno demais para explorar todo o oceano. No mundo da ciência da computação, especificamente em um campo chamado Aprendizado de Máquina (Machine Learning), este é um problema comum conhecido como Bandidos Contextuais (Contextual Bandits). É como os computadores aprendem a tomar decisões — como recomendar um filme, sugerir um medicamento ou mostrar um anúncio — com base na situação (o "contexto") sem precisar testar todas as opções no mundo real, o que pode ser caro ou arriscado.
Para resolver isso, os cientistas usam uma técnica chamada Avaliação Off-Policy (Off-Policy Evaluation - OPE). Pense na OPE como um "simulador de voo" para a tomada de decisões. Em vez de testar uma nova estratégia em pessoas reais (o que é arriscado), você a executa através de um computador usando dados antigos para ver como ela teria se saído. O problema é que a maioria dos simuladores quebra se os dados antigos forem muito monótonos (se o capitão só fez uma coisa) ou se a nova estratégia quiser testar algo que o antigo capitão nunca fez. Se os dados antigos não tiverem registro de uma ação específica, o simulador não consegue adivinhar o que aconteceria, levando a palpites desenfreados ou falha total. Este artigo aborda o cenário complicado onde os dados antigos são limitados demais, rígidos demais ou onde faltam opções novas cruciais inteiramente.
Entram em cena os pesquisadores da Hakuhodo DY Holdings e da Universidade Cornell, que propõem uma nova maneira inteligente de consertar esse simulador quebrado. Eles chamam a ideia de Avaliação e Aprendizado Off-Policy Cross-Domain (Cross-Domain Off-Policy Evaluation and Learning). Imagine que você está tentando aprender a surfar em um novo oceano desconhecido (o "domínio alvo"), mas a sua praia local (o "domínio de origem") tem um padrão de ondas diferente. Se você olhar apenas para a sua praia local, poderá ficar confuso quando vir uma onda gigante que nunca aconteceu lá. Mas e se você pudesse também assistir a um vídeo de surfe em um oceano vizinho que possui ondas semelhantes? Mesmo que a água seja ligeiramente diferente, a física da onda pode ser a mesma.
Os autores sugerem que, em vez de ficar preso aos dados monótonos ou incompletos da sua situação atual, você pode pegar emprestado insights de outras situações semelhantes (outros "domínios"). Eles perceberam que, embora cada hospital, país ou grupo de usuários seja único, eles frequentemente compartilham padrões subjacentes. Por exemplo, um tratamento pode funcionar de forma semelhante em dois hospitais diferentes, mesmo que a demografia dos pacientes varie ligeiramente. O artigo introduz um novo método chamado COPE (Cross-domain Off-Policy Evaluation). Ele funciona dividindo a "recompensa" (o resultado positivo) em duas partes: uma parte compartilhada que é comum entre grupos semelhantes (como a física geral da onda) e uma parte única que é específica apenas do seu grupo (como o vento local).
Ao usar dados de outros domínios para entender a "parte compartilhada", o COPE pode preencher as lacunas para ações que nunca foram testadas em seus dados específicos. É como usar um mapa de uma cidade vizinha para descobrir o traçado de uma rua em sua própria cidade que o seu próprio mapa esqueceu de desenhar. Os pesquisadores testaram isso em dados do mundo real de um aplicativo de compartilhamento de vídeos (KuaiRec) e descobriram que, quando os dados de destino eram escassos, ou quando os dados antigos eram muito rígidos (determinísticos), ou quando havia ações totalmente novas para testar, o método deles era muito mais preciso do que as formas antigas. Eles mostraram que, ao combinar dados de múltiplas fontes, mas sendo cuidadosos para contabilizar suas diferenças, podemos avaliar e aprender novas políticas de forma muito mais eficaz, mesmo em situações onde os métodos anteriores simplesmente desistiam ou cometiam erros enormes.
Em seus experimentos, eles simularam cenários onde as novas ações representavam até 80% das escolhas possíveis, ou onde os dados antigos eram tão limitados que havia apenas um ponto de dado por ação. Nesses casos difíceis, o novo método reduziu significamente os erros em comparação com as abordagens padrão. Eles também mostraram que isso funciona para o "aprendizado" (encontrar a melhor estratégia), não apenas para a "avaliação" (checar uma estratégia). O artigo sugere que, ao tratar diferentes fontes de dados como uma família conectada em vez de ilhas isoladas, podemos construir sistemas de tomada de decisão mais inteligentes, seguros e adaptáveis, especialmente quando não temos dados suficientes para aprender do zero.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.